Python节点主要用于机器学习的DBSACN算法和自定义模块的python脚本扩展。如果没有用到这两个功能模块，可以不用部署python节点。
| 注意 | ||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|
| ||||||||||||
文档中单机数据挖掘部署环境如下：
PS：可根据实际服务器资源，将数据挖掘及其组件部署在不同服务器，或者部署在同一台服务器中(可能导致性能下降). |
系统环境准备
防火墙配置
为了便于安装，建议在安装前关闭防火墙。使用过程中，为了系统安全可以选择启用防火墙，但必须启用服务相关端口。
1.关闭防火墙
临时关闭防火墙
| 代码块 | ||
|---|---|---|
| ||
systemctl stop firewalld |
永久关闭防火墙
| 代码块 | ||
|---|---|---|
| ||
systemctl disable firewalld |
查看防火墙状态
| 代码块 | ||
|---|---|---|
| ||
systemctl status firewalld |
2.开启防火墙
相关服务及端口对照表：
| 服务名 | 需要开放端口 |
|---|---|
| Python | 8980 |
如果确实需要打开防火墙安装，需要给防火墙放开以下需要使用到的端口
开启端口：8980
| 代码块 | ||
|---|---|---|
| ||
firewall-cmd --zone=public --add-port=8980/tcp --permanent |
配置完以后重新加载firewalld，使配置生效
| 代码块 | ||
|---|---|---|
| ||
firewall-cmd --reload |
查看防火墙的配置信息
| 代码块 | ||
|---|---|---|
| ||
firewall-cmd --list-all |
3.关闭selinux
临时关闭selinux，立即生效，不需要重启服务器。
| 代码块 | ||
|---|---|---|
| ||
setenforce 0 |
永久关闭selinux，修改完配置后需要重启服务器才能生效
| 代码块 | ||
|---|---|---|
| ||
sed -i 's/=enforcing/=disabled/g' /etc/selinux/config |
安装python执行节点
1、新建安装目录
| 代码块 |
|---|
mkdir /opt/smartbi |
2、安装jdk
解压jdk到指定目录
| 代码块 | ||
|---|---|---|
| ||
tar -zxvf jdk-8u181-linux-x64.tar.gz -C /opt/smartbi |
配置java环境变量
| 代码块 |
|---|
vi /etc/profile |
在文件末尾添加java环境变量参数，并保存
| 代码块 | ||
|---|---|---|
| ||
export JAVA_HOME=/opt/smartbi/jdk1.8.0_181 export JAVA_BIN=$JAVA_HOME/bin export CLASSPATH=:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar export PATH=$PATH:$JAVA_BIN |
使配置生效
| 代码块 | ||
|---|---|---|
| ||
source /etc/profile |
查看java版本信息
| 代码块 | ||
|---|---|---|
| ||
java -version |
3、安装Python主程序
①安装依赖包
| 代码块 | ||
|---|---|---|
| ||
rpm -ivh bzip2-1.0.6-13.el7.x86_64.rpm yum install gcc |
| 注意 | ||
|---|---|---|
| ||
Centos7.4 以上，无需安装依赖包 |
若操作系统版本过低，不能正常联网，需通过设置本地yum源来安装依赖包。参考文档如下：
https://www.jellythinkcnblogs.com/archives/548diantong/p/10105805.html
| 注意 |
|---|
Centos7.4 以上，可不设置本地yum源。 |
②安装Anaconda3并指定安装目录为/opt/anaconda3
| 代码块 | ||
|---|---|---|
| ||
chmod +x Anaconda3-2019.10-Linux-x86_64.sh bash Anaconda3-2019.10-Linux-x86_64.sh -b -p /opt/anaconda3 |
③配置环境变量
| 代码块 | ||
|---|---|---|
| ||
vi /etc/profile |
在末尾添加以下内容：
| 代码块 | ||
|---|---|---|
| ||
export PATH=/opt/anaconda3/bin:$PATH |
使配置生效，查看python版本
| 代码块 | ||
|---|---|---|
| ||
source /etc/profile python --version |
显示Python 3.7.4 表示安装成功。
4、离线安装python 插件
上传离线压缩包到服务器，并解压
| 代码块 |
|---|
unzip plugin.zip |
批量安装
| 代码块 |
|---|
pip install --no-index --find-links=./plugin/ -r requirements.txt |
5、部署引擎包
| 代码块 |
|---|
tar -zxvf SmartbiMiningEngine-V9.5.55906.20211.tar.gz -C /opt/smartbi/ |
| 注意 |
|---|
数据挖掘引擎包版本需要与Smartbi版本一致。 |
6、创建执行python的用户
创建用户
| 代码块 |
|---|
useradd mining-py |
设置用户密码
| 代码块 |
|---|
passwd mining-py |
给引擎安装目录附权限(使用mining-py用户启动执行代理程序时候，有权限创建data跟logs目录)
| 代码块 |
|---|
chmod -R 777 /opt/smartbi-mining-engine-bin |
7、启动Python执行代理
配置实验引擎地址
通过系统管理员账号登录smartbi
系统运维—系统选项—引擎设置
如下图，确认实验引擎的地址是否正确，如果不正确，修改后，点击测试引擎连接，如果弹出成功提示框，表示配置成功，然后点击保存
设置实验引擎连接smartbi的配置项
系统运维—系统选项—执行引擎—引擎配置
如下图所示
设置实验引擎连接python执行节点配置项
系统运维—系统选项—执行引擎—引擎配置
如下图所示
8、运维操作
1、更新Python数据挖掘引擎包
Smartbi更新war包版本时，Python执行节点需要同步更新对应版本的数据挖掘引擎。
2、测试Python计算节点服务
3、Python集群部署
Python集群部署无需特别设置，参考Python单机部署方式，将Python部署在不同的服务器即可，实验引擎会根据负载均衡策略把python计算任务分发到不同节点。
