Python节点主要用于机器学习的DBSACN算法和自定义模块的python脚本扩展。如果没有用到这两个功能模块,可以不用部署python节点。
注意 |
---|
|
文档中单机数据挖掘部署环境如下: 服务器IP | 主机名 | 组件实例 |
---|
192.168.137.139 | smartbi-engine | 实验引擎,服务引擎 | 192.168.137.140 | smartbi-python | python执行节点 | 192.168.137.141 | smartbi-spark | spark单节点(master+worker),hadoop |
PS:可根据实际服务器资源,将数据挖掘及其组件部署在不同服务器,或者部署在同一台服务器中(可能导致性能下降). |
系统环境准备
防火墙配置
为了便于安装,建议在安装前关闭防火墙。使用过程中,为了系统安全可以选择启用防火墙,但必须启用服务相关端口。
1.关闭防火墙
临时关闭防火墙
代码块 |
---|
|
systemctl stop firewalld
|
永久关闭防火墙
代码块 |
---|
|
systemctl disable firewalld
|
查看防火墙状态
代码块 |
---|
|
systemctl status firewalld
|
2.开启防火墙
相关服务及端口对照表:
如果确实需要打开防火墙安装,需要给防火墙放开以下需要使用到的端口
开启端口:8980
代码块 |
---|
|
firewall-cmd --zone=public --add-port=8980/tcp --permanent
|
配置完以后重新加载firewalld,使配置生效
查看防火墙的配置信息
代码块 |
---|
|
firewall-cmd --list-all
|
3.关闭selinux
临时关闭selinux,立即生效,不需要重启服务器。
永久关闭selinux,修改完配置后需要重启服务器才能生效
代码块 |
---|
|
sed -i 's/=enforcing/=disabled/g' /etc/selinux/config
|
安装python执行节点
1、新建安装目录
2、安装jdk
解压jdk到指定目录
代码块 |
---|
|
tar -zxvf jdk-8u181-linux-x64.tar.gz -C /opt/smartbi
|
配置java环境变量
在文件末尾添加java环境变量参数,并保存
代码块 |
---|
|
export JAVA_HOME=/opt/smartbi/jdk1.8.0_181
export JAVA_BIN=$JAVA_HOME/bin
export CLASSPATH=:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$PATH:$JAVA_BIN
|
使配置生效
查看java版本信息
3、安装Python主程序
①安装依赖包
代码块 |
---|
|
rpm -ivh bzip2-1.0.6-13.el7.x86_64.rpm
yum install gcc |
若操作系统版本过低,不能正常联网,需通过设置本地yum源来安装依赖包。参考以下步骤:
代码块 |
---|
mount -t iso9660 /dev/cdrom /mnt/cdrom # 将光驱或者iso文件挂载到/mnt/cdrom目录下
df -h # 使用df -h可以看到已经成功挂载 |
Image Removed
进入/etc/yum.repos.d目录,ls查看当前目录下的yum源配置文件,新建bk目录,将除CentOS-Media.repo之外的repo文件移动到bk文件夹备份
Image Removed
使用vi编辑文件CentOS-Media.repo
代码块 |
---|
[c7-media]
[c7-media]
name=CentOS-$releasever - Media
baseurl=file:///mnt //路径需与你光驱或ISO挂载的路径相同
gpgcheck=1
enabled=1 //enable后面值必须修改为1
gpgkey=file:///mnt/RPM-GPG-KEY-CentOS-7 |
Image Removed输入“yum clean all”命令清理缓存。
可以使用yum install httpd 进行安装测试
Image Removed
注意 |
---|
Centos7.4 以上,可不设置本地yum源。 |
②安装Anaconda3并指定安装目录为/opt/anaconda3
代码块 |
---|
|
chmod +x Anaconda3-2019.10-Linux-x86_64.sh
bash Anaconda3-2019.10-Linux-x86_64.sh -b -p /opt/anaconda3 |
③配置环境变量
code3.1. 安装Python
1、上传安装包到服务器
2、解压安装包至指定目录
代码块 |
---|
language | bash |
---|
linenumbers | true |
---|
|
tar -zxvf python-3.9.13.tar.gz -C /usr/local/ |
Image Added
3、 配置环境变量
代码块 |
---|
language | bash |
---|
linenumbers | true |
---|
|
vi /etc/profile |
在末尾添加以下内容:
代码块 |
---|
language | bash |
---|
linenumbers | true |
---|
|
export PATH=/opt/anaconda3usr/local/python-3.9.13/bin:$PATH |
使配置生效,查看python版本
代码块 |
---|
language | bash |
---|
linenumbers | true |
---|
|
source /etc/profile
|
3.2. 验证Python程序
1、查看python版本
代码块 |
---|
language | bash |
---|
linenumbers | true |
---|
|
python --version |
显示Python 3.7.4 表示安装成功。
4、离线安装python 插件
上传离线压缩包到服务器,并解压
批量安装 代码块 |
---|
pip install --no-index --find-links=./plugin/ -r requirements.txt |
5、部署引擎包Image Added
2、查看pip版本验证
代码块 |
---|
language | bash |
---|
linenumbers | true |
---|
|
pip -V |
Image Added
3、pip查看安装插件列表
代码块 |
---|
language | bash |
---|
linenumbers | true |
---|
|
pip list |
Image Added
4、部署引擎包
代码块 |
---|
tar -zxvf SmartbiMiningEngine-V9.5.55906.20211.tar.gz -C /opt/smartbi/ |
注意 |
---|
数据挖掘引擎包版本需要与Smartbi版本一致。 |
6、创建执行python的用户
5、创建执行python的用户
创建用户
设置用户密码
给引擎安装目录附权限(使用mining-py用户启动执行代理程序时候,有权限创建data跟logs目录)
代码块 |
---|
chmod -R 777 /opt/smartbi-mining-engine-bin |
7、启动Python执行代理6、启动Python执行代理
配置实验引擎地址
通过系统管理员账号登录smartbi
系统运维—系统选项—引擎设置
如下图,确认实验引擎的地址是否正确,如果不正确,修改后,点击测试引擎连接,如果弹出成功提示框,表示配置成功,然后点击保存
设置实验引擎连接smartbi的配置项
系统运维—系统选项—执行引擎—引擎配置
如下图所示
设置实验引擎连接python执行节点配置项
系统运维—系统选项—执行引擎—引擎配置
如下图所示
8、运维操作7、运维操作
1、更新Python数据挖掘引擎包
Smartbi更新war包版本时,Python执行节点需要同步更新对应版本的数据挖掘引擎。
2、测试Python计算节点服务
参考数据挖掘--测试数据挖掘