页面历史

面板

borderColor	#BBBBBB
bgColor	#F0F0F0
borderWidth	1
borderStyle	solid

目录

升级部署

存储挖掘实验的节点中间数据

V9.6版本修改了实验节点中间数据的存储逻辑，实现了对于任何节点，只要它上游节点执行完成，都可以从该节点执行，不需要从头开始执行。由于使用HDFS存储节点数据，因此V9.6升级需要在默认部署环境中增加HDFS的部署。

HDFS的部署方法如下：

部署环节

步骤详情

准备hadoop数据目录

1、创建临时目录：

mkdir -p /opt/hdfs/tmp

2、创建namenode数据目录

mkdir -p /opt/hdfs/name

3、创建datanode 数据目录

注意：这个目录尽量创建在空间比较大的目录，如果有多个磁盘，可以创建多个目录

mkdir -p /opt/hdfs/data

解压Hadoop到安装目录

tar -zxvf hadoop-2.7.3.tar.gz -C /opt

修改hadoop配置

1、修改hadoop-env.sh

# cd /opt/hadoop-2.7.3/etc/hadoop
# vi hadoop-env.sh

2、找到JAVA_HOME，修改为如下所示：

export JAVA_HOME=/opt/jdk1.8.0_181

3、找到export HADOOP_OPTS, 在下面添加一行

export HADOOP_NAMENODE_OPTS="-XX:+UseParallelGC -Xmx4g"

4、修改core-site.xml

cd /opt/hadoop-2.7.3/etc/hadoop
vi core-site.xml

内容如下：

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://smartbi-spark:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>file:/opt/hdfs/tmp</value>
    </property>
    <property>
        <name>fs.trash.interval</name>
        <value>100800</value>
    </property>
</configuration>

5、修改hdfs-site.xml

cd /opt/hadoop-2.7.3/etc/hadoop
vi hdfs-site.xml

内容如下:

注意：dfs.data.dir尽量配置在空间比较大的目录，可以配置多个目录，中间用逗号分隔

<configuration>
    <property>
        <name>dfs.name.dir</name>
        <value>file:/opt/hdfs/name</value>
    </property>
    <property>
        <name>dfs.data.dir</name>
        <value>file:/opt/hdfs/data</value>
    </property>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.webhdfs.enabled</name>
        <value>true</value>
    </property>
</configuration>

配置hadoop环境变量

vi /etc/profile

在最底下添加下面内容：

export HADOOP_HOME=/opt/hadoop-2.7.3
export PATH=$PATH:$HADOOP_HOME/bin

让配置生效

source /etc/profile

详细的升级文档请参见：数据挖掘引擎V95升级V96版本注意事项。

实验引擎跟python执行节点的交互，使用restful方式

在V9.5版本中，实验引擎跟python执行节点交互是使用ssh方式；基于安全跟系统扩展性考虑，V9.6版本实验引擎跟python执行节点交互是使用restful方式。

因此V9.6版本升级需要按照如下方法部署python节点：

部署环节

步骤详情

配置基础环境

1）安装JAVA

解压jdk到指定目录：

# tar -zxvf jdk-8u181-linux-x64.tar.gz -C /opt

添加环境变量。

# vi /etc/profile

在最底下添加下面内容：

export JAVA_HOME=/opt/jdk1.8.0_181

export JAVA_BIN=$JAVA_HOME/bin

export CLASSPATH=:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

export PATH=$PATH:$JAVA_BIN

让配置生效

# source /etc/profile

#java -version

2）配置本地yum源

参考文档：https://www.jellythink.com/archives/548

安装Python主程序

1）安装依赖包

#rpm -ivh bzip2-1.0.6-13.el7.x86_64.rpm

#yum install gcc

注意：

Centos7.4 以上，无需安装依赖包。

2）安装 Anaconda3并指定安装目录为/opt/anaconda3

#bash Anaconda3-2019.10-Linux-x86_64.sh -b -p /opt/anaconda3

3）配置环境变量

#vi /etc/profile

在末尾添加以下内容：

export PATH=/opt/anaconda3/bin:$PATH

使配置生效

# source /etc/profile

4) 检验是否安装成功

#python --version

Python 3.7.4 #表示安装成功

离线安装Python插件

批量安装：

#pip install --no-index --find-links=./plugin/ -r requirements.txt

部署引擎包

解压到安装目录

#tar -zxvf SmartbiMiningEngine-V9.6.56248.20231.tar.gz -C /opt

创建Python执行用户

创建用户

useradd mining-py

设置用户密码

passwd mining-py

给引擎安装目录附权限(为了使用mining-py用户启动执行代理程序时候，有权限创建data跟logs目录)

chmod 777 /opt/smartbi-mining-engine-bin

启动python执行代理

通过系统管理员登录smartbi

系统选项—引擎设置

Image Removed

登录到python节点机器，并切换到mining-py用户

注意

title	注意

为了避免出现安全问题，一定要切换到mining-py用户去启动执行代理服务，不要使用安装用户或带有sudu权限的用户来启动执行代理服务。

# su - mining-py

切到引擎启动目录

cd /opt/smartbi-mining-engine-bin/engine/sbin

把拷贝命令粘贴，例如：

./agent-daemon.sh start --master http://smartbi-engine:8899 --env python

详细的升级文档请参见：Python执行节点更新。

UI调整

1、数据源按照以下顺序排序：

“全部”标签页中，数据库分为“常用数据库”与“所有数据库”：常用数据库：按数据库的新建次数由高到低排序；所有数据库：按照字母顺序排序。
“本地数据库、关系数据库、多维数据库、NoSQL数据库”页签中，所有数据库按照字母顺序排序。
Other数据源不按字母排序，位置在所有数据库和关系数据库最后。

2、在系统设置页面右上角增加麦粉社区的链接，链接到麦粉社区首页。

功能影响

自助仪表盘组件联动

删除筛选器应用于组件的“高级设置”选项、“合并参数”选项，所有的联动关系都在全局的联动设置中设置。

升级内容

数据挖掘组件	V9.5版本	V9.7版本	更新内容
实验引擎	√	√	数据挖掘引擎版本更新
服务引擎	√	√	数据挖掘引擎版本更新
Spark	√	√	Spark版本由2.4升级到3.0版本
Python执行节点	√	√	数据挖掘引擎版本更新，新增代理程序启动用户。
Hadoop	×	√	新增Hadoop组件，用于节点中间数据存储。

Spark版本升级

V9.7版本中Spark版本从2.4升级到了3.0版本，Spark添加了密钥认证方式，数据挖掘中添加了Spark的密钥认证，提高了安全性。

手工部署Spark2.4到3.0的升级参考文档：数据挖掘引擎V95升级Beta版本

高性能版本部署Spark升级参考文档：高性能版本-数据挖掘V95升级Beta版本

存储挖掘实验的节点中间数据

V9.7版本修改了实验节点中间数据的存储逻辑，实现了对于任何节点，只要它上游节点执行完成，都可以从该节点执行，不需要从头开始执行。由于使用HDFS存储节点数据，因此V9.7升级需要在默认部署环境中增加HDFS的部署。

HDFS的部署方法请参考文档：数据挖掘引擎V95升级Beta版本

高性能版本HDFS的部署方法参考文档：高性能版本-数据挖掘V95升级Beta版本

实验引擎跟Python执行节点的交互，使用RESTful方式

在V9.5版本中，实验引擎跟Python执行节点交互是使用ssh方式；基于安全跟系统扩展性考虑，V9.7版本实验引擎跟Python执行节点交互是使用RESTful方式。

因此V9.7版本Python计算节点升级参考文档：数据挖掘引擎V95升级Beta版本

高性能版本Python计算节点升级参考文档：高性能版本-数据挖掘V95升级Beta版本

更改fetchsize的默认

1、如果未曾修改过fetchsize的默认值，那换包升级后fetchsize的默认值会修改为1000；
2、如果修改过，那么换包升级会保留原来的配置，也就是说换包升级前fetchsize的默认值为200，那么升级完毕后默认值保持不变，依旧是200.

UI调整

1、数据源按照以下顺序排序：

“全部”标签页中，数据库分为“常用数据库”与“所有数据库”：常用数据库：按数据库的新建次数由高到低排序；所有数据库：按照字母顺序排序。
“本地数据库、关系数据库、多维数据库、NoSQL数据库”页签中，所有数据库按照字母顺序排序。
Other数据源不按字母排序，位置在所有数据库和关系数据库最后。

2、在系统设置页面右上角增加麦粉社区的链接，链接到麦粉社区首页。

在系统选项的高级设置中，设置项“SMARTBI_SURPPORT_URL_DISPLAY”控制是否显示麦粉社区的入口（默认为否）。

功能变更

1、自助仪表盘组件联动

删除筛选器应用于组件的“高级设置”选项、“合并参数”选项，所有的联动关系都在全局的联动设置中设置。

2、删除自助数据集新建自助ETL、数据挖掘实验的入口，不再支持在自助数据集中新建自助ETL、数据挖掘实验。

3、资源权限

功能

V9.5

V9.7

新版本变更

补充说明

资源权限

数据权限

（1）V9.5 资源权限细分为：

引用、查看、编辑、删除和再授权。

（2）引用权限：假设用户对某个报表的自助数据集拥有引用权限，就能在资源树下查看该自助数据集。

（3）编辑权限、删除权限是两种类型权限。

V9.7 资源权限细分为：

引用、查看、编辑、再授权和概览。

（1）V9.7 对引用权限进行重新定义：

即使拥有相应资源的引用权限，也不会看到相应资源在目录树上，最起码需要有查看权限才能看到；

（2）V9.7 对编辑权限的调整：

合并旧的编辑权限和删除权限为一个资源权限——编辑。

V9.7 对数据行权限变更调优了：

新版本数据行权限底层技术进行了一些变更调优，原来的数据行权限升级到新版本里面能自动兼容性升级。
如果升级后，新增了数据权限再回退到原来的版本，新的数据权限不一定能兼容回退。因此做此回退操作前必须备份知识库。

4、由于的Informix与MongoDB的内置数据库驱动包冲突，因此移除了内置的“Informix”数据库驱动包——_JDBC_ifxjdbc.jar，产品不再提供Informix的内置数据库驱动。

如需使用“Informix”数据库，需通过自定义的方式添加该数据库驱动，可参考如何向Smartbi中添加数据库驱动jar。

页面树结构

版本比较

旧版本 2

新版本当前版本

标识

升级部署

存储挖掘实验的节点中间数据

实验引擎跟python执行节点的交互，使用restful方式

UI调整

功能影响

安装部署

升级内容

Spark版本升级

存储挖掘实验的节点中间数据

实验引擎跟Python执行节点的交互，使用RESTful方式

更改fetchsize的默认

UI调整

功能变更

关注我们

服务支持

页面树结构

页面历史

版本比较

旧版本 2

新版本 当前版本

标识

升级部署

存储挖掘实验的节点中间数据

实验引擎跟python执行节点的交互，使用restful方式

UI调整

功能影响

安装部署

升级内容

Spark版本升级

存储挖掘实验的节点中间数据

实验引擎跟Python执行节点的交互，使用RESTful方式

更改fetchsize的默认

UI调整

功能变更

新版本当前版本