部署Python计算节点

Python节点主要用于机器学习的DBSACN算法和自定义模块的python脚本扩展。如果没有用到这两个功能模块，可以不用部署python节点。

注意

文档中单机数据挖掘部署环境如下：

服务器IP	主机名	组件实例
192.168.137.139	smartbi-engine	实验引擎，服务引擎
192.168.137.140	smartbi-python	python执行节点
192.168.137.141	smartbi-spark	spark单节点(master+worker)，hadoop

PS：可根据实际服务器资源，将数据挖掘及其组件部署在不同服务器，或者部署在同一台服务器中(可能导致性能下降).

系统环境准备

防火墙配置

为了便于安装，建议在安装前关闭防火墙。使用过程中，为了系统安全可以选择启用防火墙，但必须启用服务相关端口。

1.关闭防火墙

临时关闭防火墙

systemctl stop firewalld

永久关闭防火墙

systemctl disable firewalld

查看防火墙状态

systemctl status firewalld

2.开启防火墙

安装python执行节点

1、新建安装目录

mkdir /opt/smartbi

2、安装jdk

解压jdk到指定目录

tar -zxvf  jdk-8u181-linux-x64.tar.gz -C /opt/smartbi

配置java环境变量

vi /etc/profile

在文件末尾添加java环境变量参数，并保存

export JAVA_HOME=/opt/smartbi/jdk1.8.0_181
export JAVA_BIN=$JAVA_HOME/bin
export CLASSPATH=:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$PATH:$JAVA_BIN

使配置生效

source /etc/profile

查看java版本信息

java -version

3、安装Python主程序

①安装依赖包

rpm -ivh bzip2-1.0.6-13.el7.x86_64.rpm
yum install gcc

注意事项

Centos7.4 以上，无需安装依赖包

若操作系统版本过低，不能正常联网，需通过设置本地yum源来安装依赖包。参考文档如下：

https://www.jellythink.com/archives/548

Centos7.4 以上，可不设置本地yum源。

②安装Anaconda3并指定安装目录为/opt/anaconda3

chmod +x Anaconda3-2019.10-Linux-x86_64.sh
bash Anaconda3-2019.10-Linux-x86_64.sh -b -p /opt/anaconda3

③配置环境变量

vi /etc/profile

在末尾添加以下内容：

export PATH=/opt/anaconda3/bin:$PATH

使配置生效，查看python版本

source /etc/profile
python --version

显示Python 3.7.4 表示安装成功。

4、离线安装python 插件

上传离线压缩包到服务器，并解压

unzip plugin.zip

批量安装

pip install --no-index --find-links=./plugin/ -r requirements.txt

5、部署引擎包

tar -zxvf SmartbiMiningEngine-V9.5.55906.20211.tar.gz -C /opt/smartbi/

数据挖掘引擎包版本需要与Smartbi版本一致。

6、创建执行python的用户

创建用户

useradd mining-py

设置用户密码

passwd mining-py

给引擎安装目录附权限(使用mining-py用户启动执行代理程序时候，有权限创建data跟logs目录)

chmod -R 777 /opt/smartbi-mining-engine-bin

7、启动Python执行代理

配置实验引擎地址

通过系统管理员账号登录smartbi

系统运维—系统选项—引擎设置

如下图，确认实验引擎的地址是否正确，如果不正确，修改后，点击测试引擎连接，如果弹出成功提示框，表示配置成功，然后点击保存

设置实验引擎连接smartbi的配置项

系统运维—系统选项—执行引擎—引擎配置

如下图所示

设置实验引擎连接python执行节点配置项