Smartbi V9.5升级到V9.6的注意事项

升级前须知

在升级Smartbi之前，我们需要先阅读以下产品升级前的流程操作。

容灾备份

在任何情况下的Smartbi升级，都是需要先进行容灾备份的。说明如下：

备份范围

补充说明

知识库备份

1.通过Smartbi备份知识库，在Smartbi选择 系统运维 > 备份知识库；

2.通过数据库工具备份数据库。

war包备份

无

授权许可文件备份

无

预升级测试

在正式升级Smartbi之前，一般还需要进行预升级测试，可以选择先搭建测试环境或者基于现有的开发环境来进行这一步操作。

在测试环境上未测试通过的情况下，最好不要直接对生产环境进行操作，以防对生产环境造成损坏。

评估定制功能

如果在升级Smartbi的过程中有通过二次开发实现的定制功能，那在升级之前我们需要考虑这几个点：

1. 定制扩展包的兼容性；

2. 评估二次开发的代码升级代价；

3. 环境依赖和功能变化对现在项目使用的影响；

因此，在升级之前需要先联系定制部门去评估定制功能的兼容升级。

升级部署

存储挖掘实验的节点中间数据

V9.6版本修改了实验节点中间数据的存储逻辑，实现了对于任何节点，只要它上游节点执行完成，都可以从该节点执行，不需要从头开始执行。由于使用HDFS存储节点数据，因此V9.6升级需要在默认部署环境中增加HDFS的部署。

HDFS的部署方法如下：

部署环节

步骤详情

准备hadoop数据目录

1、创建临时目录：

mkdir -p /opt/hdfs/tmp

2、创建namenode数据目录

mkdir -p /opt/hdfs/name

3、创建datanode 数据目录

注意：这个目录尽量创建在空间比较大的目录，如果有多个磁盘，可以创建多个目录

mkdir -p /opt/hdfs/data

解压Hadoop到安装目录

tar -zxvf hadoop-2.7.3.tar.gz -C /opt

修改hadoop配置

1、修改hadoop-env.sh

# cd /opt/hadoop-2.7.3/etc/hadoop
# vi hadoop-env.sh

2、找到JAVA_HOME，修改为如下所示：

export JAVA_HOME=/opt/jdk1.8.0_181

3、找到export HADOOP_OPTS, 在下面添加一行

export HADOOP_NAMENODE_OPTS="-XX:+UseParallelGC -Xmx4g"

4、修改core-site.xml

cd /opt/hadoop-2.7.3/etc/hadoop
vi core-site.xml

内容如下：

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://smartbi-spark:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>file:/opt/hdfs/tmp</value>
    </property>
    <property>
        <name>fs.trash.interval</name>
        <value>100800</value>
    </property>
</configuration>

5、修改hdfs-site.xml

cd /opt/hadoop-2.7.3/etc/hadoop
vi hdfs-site.xml

内容如下:

注意：dfs.data.dir尽量配置在空间比较大的目录，可以配置多个目录，中间用逗号分隔

<configuration>
    <property>
        <name>dfs.name.dir</name>
        <value>file:/opt/hdfs/name</value>
    </property>
    <property>
        <name>dfs.data.dir</name>
        <value>file:/opt/hdfs/data</value>
    </property>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.webhdfs.enabled</name>
        <value>true</value>
    </property>
</configuration>

配置hadoop环境变量

vi /etc/profile

在最底下添加下面内容：

export HADOOP_HOME=/opt/hadoop-2.7.3
export PATH=$PATH:$HADOOP_HOME/bin

让配置生效

source /etc/profile

详细的升级文档请参见：数据挖掘引擎V95升级V96版本注意事项。

实验引擎跟python执行节点的交互，使用restful方式

在V9.5版本中，实验引擎跟python执行节点交互是使用ssh方式；基于安全跟系统扩展性考虑，V9.6版本实验引擎跟python执行节点交互是使用restful方式。

因此V9.6版本升级需要按照如下方法部署python节点：

部署环节

步骤详情

配置基础环境

1）安装JAVA

解压jdk到指定目录：

# tar -zxvf jdk-8u181-linux-x64.tar.gz -C /opt

添加环境变量。

# vi /etc/profile

在最底下添加下面内容：

export JAVA_HOME=/opt/jdk1.8.0_181

export JAVA_BIN=$JAVA_HOME/bin

export CLASSPATH=:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

export PATH=$PATH:$JAVA_BIN

让配置生效

# source /etc/profile

#java -version

2）配置本地yum源

参考文档：https://www.jellythink.com/archives/548

安装Python主程序

1）安装依赖包

#rpm -ivh bzip2-1.0.6-13.el7.x86_64.rpm

#yum install gcc

注意：

Centos7.4 以上，无需安装依赖包。

2）安装 Anaconda3并指定安装目录为/opt/anaconda3

#bash Anaconda3-2019.10-Linux-x86_64.sh -b -p /opt/anaconda3

3）配置环境变量

#vi /etc/profile

在末尾添加以下内容：

export PATH=/opt/anaconda3/bin:$PATH

使配置生效

# source /etc/profile

4) 检验是否安装成功

#python --version

Python 3.7.4 #表示安装成功

离线安装Python插件

批量安装：

#pip install --no-index --find-links=./plugin/ -r requirements.txt

部署引擎包

解压到安装目录

#tar -zxvf SmartbiMiningEngine-V9.6.56248.20231.tar.gz -C /opt

创建Python执行用户

创建用户

useradd mining-py

设置用户密码

passwd mining-py

给引擎安装目录附权限(为了使用mining-py用户启动执行代理程序时候，有权限创建data跟logs目录)

chmod 777 /opt/smartbi-mining-engine-bin

启动python执行代理

通过系统管理员登录smartbi

系统选项—引擎设置

登录到python节点机器，并切换到mining-py用户

注意

为了避免出现安全问题，一定要切换到mining-py用户去启动执行代理服务，不要使用安装用户或带有sudu权限的用户来启动执行代理服务。

# su - mining-py

切到引擎启动目录

cd /opt/smartbi-mining-engine-bin/engine/sbin

把拷贝命令粘贴，例如：

./agent-daemon.sh start --master http://smartbi-engine:8899 --env python

详细的升级文档请参见：Python执行节点更新。

UI调整

1、数据源按照以下顺序排序：

“全部”标签页中，数据库分为“常用数据库”与“所有数据库”：常用数据库：按数据库的新建次数由高到低排序；所有数据库：按照字母顺序排序。
“本地数据库、关系数据库、多维数据库、NoSQL数据库”页签中，所有数据库按照字母顺序排序。
Other数据源不按字母排序，位置在所有数据库和关系数据库最后。

2、在系统设置页面右上角增加麦粉社区的链接，链接到麦粉社区首页。

功能影响

自助仪表盘组件联动

删除筛选器应用于组件的“高级设置”选项、“合并参数”选项，所有的联动关系都在全局的联动设置中设置。

关注我们

服务支持

页面树结构