Smartbi V9 帮助中心
页面树结构
转至元数据结尾
转至元数据起始

Python节点主要用于机器学习的DBSACN算法和自定义模块的python脚本扩展。如果没有用到这两个功能模块，可以不用部署python节点。

数据挖掘服务引擎如果没有用到这两个功能模块，也可以不用部署python节点。

注意

文档中单机数据挖掘部署环境如下：

服务器IP

主机名

组件实例

192.168.137.139

smartbi-engine

实验引擎，服务引擎

192.168.137.140

smartbi-python

python执行节点

192.168.137.141

smartbi-spark

spark单节点(master+worker)，hadoop

PS：可根据实际服务器资源，将数据挖掘及其组件部署在不同服务器，或者部署在同一台服务器中(可能导致性能下降).

系统环境准备

防火墙配置

为了便于安装，建议在安装前关闭防火墙。使用过程中，为了系统安全可以选择启用防火墙，但必须启用服务相关端口。

1.关闭防火墙

临时关闭防火墙

systemctl stop firewalld

永久关闭防火墙

systemctl disable firewalld

查看防火墙状态

systemctl status firewalld

2.开启防火墙

相关服务及端口对照表：

服务名需要开放端口
Python

8980

如果确实需要打开防火墙安装，需要给防火墙放开以下需要使用到的端口
开启端口：8980

firewall-cmd --zone=public --add-port=8980/tcp --permanent

配置完以后重新加载firewalld，使配置生效

firewall-cmd --reload

查看防火墙的配置信息

firewall-cmd --list-all

3.关闭selinux

临时关闭selinux，立即生效，不需要重启服务器。

setenforce 0

永久关闭selinux，修改完配置后需要重启服务器才能生效

sed -i 's/=enforcing/=disabled/g'  /etc/selinux/config


安装python执行节点

1、新建安装目录

mkdir /opt/smartbi

2、安装jdk

 解压jdk到指定目录

tar -zxvf  jdk-8u181-linux-x64.tar.gz -C /opt/smartbi


配置java环境变量

vi /etc/profile


在文件末尾添加java环境变量参数，并保存

export JAVA_HOME=/opt/smartbi/jdk1.8.0_181
export JAVA_BIN=$JAVA_HOME/bin
export CLASSPATH=:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$PATH:$JAVA_BIN

使配置生效

source /etc/profile

查看java版本信息

java -version


3、安装Python主程序

①安装依赖包

rpm -ivh bzip2-1.0.6-13.el7.x86_64.rpm
yum install gcc

注意事项

Centos7.4 以上，无需安装依赖包

若操作系统版本过低，不能正常联网，需通过设置本地yum源来安装依赖包。参考文档如下：

https://www.cnblogs.com/diantong/p/10105805.html

Centos7.4 以上，可不设置本地yum源。

②安装Anaconda3并指定安装目录为/opt/anaconda3

chmod +x Anaconda3-2019.10-Linux-x86_64.sh
bash Anaconda3-2019.10-Linux-x86_64.sh -b -p /opt/anaconda3

③配置环境变量

vi /etc/profile

在末尾添加以下内容：

export PATH=/opt/anaconda3/bin:$PATH

使配置生效，查看python版本

source /etc/profile
python --version

显示Python 3.7.4 表示安装成功。

4、离线安装python 插件

上传离线压缩包到服务器，并解压

unzip plugin.zip


批量安装

pip install --no-index --find-links=./plugin/ -r requirements.txt

5、部署引擎包

tar -zxvf SmartbiMiningEngine-V9.5.55906.20211.tar.gz -C /opt/smartbi/

数据挖掘引擎包版本需要与Smartbi版本一致。


6、创建执行python的用户

创建用户

useradd mining-py


设置用户密码

passwd mining-py


给引擎安装目录附权限(使用mining-py用户启动执行代理程序时候，有权限创建data跟logs目录)

chmod -R 777 /opt/smartbi-mining-engine-bin

7、启动Python执行代理

配置实验引擎地址

通过系统管理员账号登录smartbi

系统运维—系统选项—引擎设置

如下图，确认实验引擎的地址是否正确，如果不正确，修改后，点击测试引擎连接，如果弹出成功提示框，表示配置成功，然后点击保存


设置实验引擎连接smartbi的配置项

系统运维—系统选项—执行引擎—引擎配置

如下图所示

设置实验引擎连接python执行节点配置项

系统运维—系统选项—执行引擎—引擎配置

如下图所示

8、运维操作

1、更新Python数据挖掘引擎包

Smartbi更新war包版本时，Python执行节点需要同步更新对应版本的数据挖掘引擎。

2、测试Python计算节点服务

参考测试数据挖掘集群及其组件

3、Python集群部署

Python集群部署无需特别设置，参考Python单机部署方式，将Python部署在不同的服务器即可，实验引擎会根据负载均衡策略把python计算任务分发到不同节点。

  • 无标签