数据挖掘--部署Python计算节点

Python节点主要用于机器学习的DBSACN算法和自定义模块的python脚本扩展。如果没有用到这两个功能模块，可以不用部署python节点。

注意

文档中单机数据挖掘部署环境如下：

服务器IP	主机名	组件实例
192.168.137.139	smartbi-engine	实验引擎，服务引擎
192.168.137.140	smartbi-python	python执行节点
192.168.137.141	smartbi-spark	spark单节点(master+worker)，hadoop

PS：可根据实际服务器资源，将数据挖掘及其组件部署在不同服务器，或者部署在同一台服务器中(可能导致性能下降).

系统环境准备

防火墙配置

为了便于安装，建议在安装前关闭防火墙。使用过程中，为了系统安全可以选择启用防火墙，但必须启用服务相关端口。

1.关闭防火墙

临时关闭防火墙

systemctl stop firewalld

永久关闭防火墙

systemctl disable firewalld

查看防火墙状态

systemctl status firewalld

2.开启防火墙

安装python执行节点

1、新建安装目录

mkdir /opt/smartbi

2、安装jdk

解压jdk到指定目录

tar -zxvf  jdk-8u181-linux-x64.tar.gz -C /opt/smartbi

配置java环境变量

vi /etc/profile

在文件末尾添加java环境变量参数，并保存

export JAVA_HOME=/opt/smartbi/jdk1.8.0_181
export JAVA_BIN=$JAVA_HOME/bin
export CLASSPATH=:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$PATH:$JAVA_BIN

使配置生效

source /etc/profile

查看java版本信息

java -version

3、安装Python主程序

3.1. 安装Python

1、上传安装包到服务器

2、解压安装包至指定目录

tar -zxvf python-3.9.13.tar.gz -C  /usr/local/

3、配置环境变量

vi /etc/profile

在末尾添加以下内容：

export PATH=/usr/local/python-3.9.13/bin:$PATH

使配置生效，查看python版本

source /etc/profile

3.2. 验证Python程序

1、查看python版本

python --version

2、查看pip版本验证

pip -V

3、pip查看安装插件列表

pip list

4、部署引擎包

tar -zxvf SmartbiMiningEngine-V9.5.55906.20211.tar.gz -C /opt/smartbi/

数据挖掘引擎包版本需要与Smartbi版本一致。

5、创建执行python的用户

创建用户

useradd mining-py

设置用户密码

passwd mining-py

给引擎安装目录附权限(使用mining-py用户启动执行代理程序时候，有权限创建data跟logs目录)

chmod -R 777 /opt/smartbi-mining-engine-bin

6、启动Python执行代理

配置实验引擎地址

通过系统管理员账号登录smartbi

系统运维—系统选项—引擎设置

如下图，确认实验引擎的地址是否正确，如果不正确，修改后，点击测试引擎连接，如果弹出成功提示框，表示配置成功，然后点击保存

设置实验引擎连接smartbi的配置项

系统运维—系统选项—执行引擎—引擎配置

如下图所示

设置实验引擎连接python执行节点配置项