Smartbi V9 帮助中心
页面树结构

版本比较

旧版本 4

changes.mady.by.user 李永斌

保存于

比较

新版本 当前版本

changes.mady.by.user 刘佑富

保存于

标识

  • 该行被添加。
  • 该行被删除。
  • 格式已经改变。



目录
maxLevel3

Python节点主要用于机器学习的DBSACN算法和自定义模块的python脚本扩展。如果没有用到这两个功能模块，可以不用部署python节点。

注意
title注意

文档中单机数据挖掘部署环境如下：

服务器IP

主机名

组件实例

192.168.137.139

smartbi-engine

实验引擎，服务引擎

192.168.137.140

smartbi-python

python执行节点

192.168.137.141

smartbi-spark

spark单节点(master+worker)，hadoop

PS：可根据实际服务器资源，将数据挖掘及其组件部署在不同服务器，或者部署在同一台服务器中(可能导致性能下降).

系统环境准备

防火墙配置

为了便于安装，建议在安装前关闭防火墙。使用过程中，为了系统安全可以选择启用防火墙，但必须启用服务相关端口。

1.关闭防火墙

临时关闭防火墙

代码块
linenumberstrue
systemctl stop firewalld

永久关闭防火墙

代码块
linenumberstrue
systemctl disable firewalld

查看防火墙状态

代码块
linenumberstrue
systemctl status firewalld

2.开启防火墙

相关服务及端口对照表：

服务名需要开放端口
Python

8980

如果确实需要打开防火墙安装，需要给防火墙放开以下需要使用到的端口
开启端口：8980

代码块
linenumberstrue
firewall-cmd --zone=public --add-port=8980/tcp --permanent

配置完以后重新加载firewalld，使配置生效

代码块
linenumberstrue
firewall-cmd --reload

查看防火墙的配置信息

代码块
linenumberstrue
firewall-cmd --list-all

3.关闭selinux

临时关闭selinux，立即生效，不需要重启服务器。

代码块
linenumberstrue
setenforce 0

永久关闭selinux，修改完配置后需要重启服务器才能生效

代码块
linenumberstrue
sed -i 's/=enforcing/=disabled/g'  /etc/selinux/config


安装python执行节点

1、新建安装目录

代码块
mkdir /opt/smartbi

2、安装jdk

 解压jdk到指定目录

代码块
linenumberstrue
tar -zxvf  jdk-8u181-linux-x64.tar.gz -C /opt/smartbi


配置java环境变量

代码块
vi /etc/profile


在文件末尾添加java环境变量参数，并保存

代码块
linenumberstrue
export JAVA_HOME=/opt/smartbi/jdk1.8.0_181
export JAVA_BIN=$JAVA_HOME/bin
export CLASSPATH=:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$PATH:$JAVA_BIN

使配置生效

代码块
linenumberstrue
source /etc/profile

查看java版本信息

代码块
linenumberstrue
java -version


3、安装Python主程序

①安装依赖包

3.1. 安装Python

1、上传安装包到服务器


2、解压安装包至指定目录

代码块
languagebash
linenumberstrue
rpmtar -ivhzxvf bzip2python-13.09.6-13.el7.x86_64.rpm
yum install gcc
注意
title注意事项

Centos7.4 以上，无需安装依赖包

若操作系统版本过低，不能正常联网，需通过设置本地yum源来安装依赖包。参考以下步骤：

代码块
mount -t iso9660 /dev/cdrom /mnt/cdrom         # 将光驱或者iso文件挂载到/mnt/cdrom目录下
df -h        # 使用df -h可以看到已经成功挂载

Image Removed

注意

Centos7.4 以上，可不设置本地yum源。

②安装Anaconda3并指定安装目录为/opt/anaconda3

代码块
linenumberstrue
chmod +x Anaconda3-2019.10-Linux-x86_64.sh
bash Anaconda3-2019.10-Linux-x86_64.sh -b -p /opt/anaconda3

③配置环境变量

代码块
tar.gz -C  /usr/local/

Image Added

3、 配置环境变量

代码块
languagebash
linenumberstrue
vi /etc/profile

在末尾添加以下内容：

代码块
languagebash
linenumberstrue
export PATH=/opt/anaconda3usr/local/python-3.9.13/bin:$PATH

使配置生效，查看python版本

代码块
languagebash
linenumberstrue
source /etc/profile

3.2. 验证Python程序

1、查看python版本

代码块
languagebash
linenumberstrue
python --version

显示Python 3.7.4 表示安装成功。

4、离线安装python 插件

上传离线压缩包到服务器，并解压

代码块
unzip plugin.zip
批量安装
代码块
pip install --no-index --find-links=./plugin/ -r requirements.txt
5、部署引擎包
Image Added
2、查看pip版本验证
 代码块
languagebash
linenumberstrue
pip -V
Image Added
3、pip查看安装插件列表
 代码块
languagebash
linenumberstrue
pip list
Image Added


4、部署引擎包
 代码块
tar -zxvf SmartbiMiningEngine-V9.5.55906.20211.tar.gz -C /opt/smartbi/

 注意
数据挖掘引擎包版本需要与Smartbi版本一致。
6、创建执行python的用户

5、创建执行python的用户
创建用户
 代码块
useradd mining-py

设置用户密码
 代码块
passwd mining-py

给引擎安装目录附权限(使用mining-py用户启动执行代理程序时候，有权限创建data跟logs目录)
 代码块
chmod -R 777 /opt/smartbi-mining-engine-bin
7、启动Python执行代理
6、启动Python执行代理
配置实验引擎地址
通过系统管理员账号登录smartbi
系统运维—系统选项—引擎设置
如下图，确认实验引擎的地址是否正确，如果不正确，修改后，点击测试引擎连接，如果弹出成功提示框，表示配置成功，然后点击保存

设置实验引擎连接smartbi的配置项
系统运维—系统选项—执行引擎—引擎配置
如下图所示
设置实验引擎连接python执行节点配置项
系统运维—系统选项—执行引擎—引擎配置
如下图所示
8、运维操作
7、运维操作
1、更新Python数据挖掘引擎包
Smartbi更新war包版本时，Python执行节点需要同步更新对应版本的数据挖掘引擎。
2、测试Python计算节点服务
参考数据挖掘--测试数据挖掘