高性能版本-数据挖掘V95到V96版本升级内容如下：
| 数据挖掘组件 | V95版本 | V96版本 | 更新内容 |
|---|---|---|---|
| 实验引擎 | √ | √ | 数据挖掘引擎版本更新 |
| 服务引擎 | √ | √ | 数据挖掘引擎版本更新 |
| Spark | √ | √ | Spark版本由2.4升级到3.0版本 |
| Python执行节点 | √ | √ | 数据挖掘引擎版本更新，新增代理程序启动用户。 |
| Hadoop | × | √ | 新增Hadoop组件，用于节点中间数据存储。 |
Spark版本升级
1、导入Spark新镜像
获取新的spark镜像，上传到高性能版本部署服务器，并导入
| 代码块 | ||
|---|---|---|
| ||
docker load < Smartbi-Spark.tar #镜像导入到docker中 docker tag localhost:5000/smartbi-spark:V9.6 服务器IP:5000/smartbi/smartbi-spark:V9.6 #注意将服务器IP替换成实际部署rancher控制台的服务器内网IP地址 docker push 服务器IP:5000/smartbi/smartbi-spark:V9.6 #注意服务器IP替换成实际部署rancher控制台的服务器内网IP地址，将镜像上传到harbor中 |
2、停止Spark服务
登陆Rancher控制台，勾选 smartbi-spark-master和 smartbi-spark-worker1 服务，点击暂停编排
3、更新Spark服务挂载目录
获取新的Spark挂载文件，上传到高性能版本部署服务器中，并解压到指定目录。
| 代码块 | ||
|---|---|---|
| ||
tar -zxvf spark-3.0.0-bin-hadoop2.7.tar.gz -C /opt |
进入高性能版本安装目录<高性能安装目录>进入<高性能版本安装目录>/smartbi_data/目录，例如:
| 代码块 | ||
|---|---|---|
| ||
cd /data/Smartbi_All/smartbi_data/ |
备份原有的Spark服务挂载目录，并将新的挂载目录移动到<高性能安装目录>备份原有的Spark服务挂载目录，并将新的挂载目录移动到<高性能版本安装目录>/smartbi_data/下，注意替换实际的目录。
| 代码块 | ||
|---|---|---|
| ||
mv smartbi-spark smartbi-spark_bk mv /opt/spark-3.0.0-bin-hadoop2.7 /data/Smartbi_All/smartbi_data/smartbi-spark |
4、升级Spark版本
登陆Rancher控制台
①选 smartbi-spark-master服务，点击查看/编辑YAML，如下图所示
找到smartbi-spark:V9.0修改成smartbi-spark:V9.6，参考下图：
修改完成后点击保存
②选择 smartbi-spark-worker1 服务，参考smartbi-spark-master服务修改方法，将配置文件中的smartbi-spark:V9.0修改成smartbi-spark:V9.6，保存
③勾选smartbi-spark-master服务和 smartbi-spark-worker1 服务，点击恢复编排，等待容器启动成功。
④服务启动成功后可查看对应日志是否有报错。
浏览器打开http://IP:32002/ 检查Spark版本
登陆smartbi，点击数据挖掘，运行挖掘实验查看是否运行成功，运行成功则说明Spark服务更新成功。
部署Hadoop服务
| title | 配置解析 |
|---|
如不使用默认值，需要在部署实验引擎时, experiment-application.properties文件修改配置项(如果没有该配置项则需要添加)。
spark.authenticate.secret=你修改的密钥
1、上传安装包
获取并上传安装包到<高性能版本安装目录>/smartbi_data/目录下，并解压。例如：
| 代码块 | ||
|---|---|---|
| ||
cd /data/Smartbi_All/smartbi_data/
tar -zxvf smartbi-hadoop.tar.gz |
2、执行脚本导入镜像
| 代码块 | ||
|---|---|---|
| ||
cd /data/Smartbi_All/smartbi_data/smartbi-hadoop
./load_hadoop_image.sh [Rancher服务器IP] #注意替换成Rancher服务器的内网IP地址 |
参考下图
执行完成如下图：
3、下载配置文件到本地
执行完脚本后，使用wincp或者其他工具，将目录中的Smartbi-Hadoop.yaml文件下载到本地。
4、部署Hadoop服务
浏览器登陆Rancher控制台，导入Hadoop服务
点击导入YAML，选择从文件读取
选择从服务器中下载的Smartbi-Hadoop.yaml文件
点击导入
导入完成后，状态变成绿色Active即表示服务导入成功
5、测试验证Hadoop
浏览器登陆smartbi，htpp://IP:31080/smartbi
打开系统运维--系统选项–执行引擎–引擎配置，节点数据hdfs存储目录设置为hdfs://smartbi-hadoop:9000/mining/，并保存，参考下图
打开系统运维--系统选项–服务引擎，节点数据hdfs存储目录设置为hdfs://smartbi-hadoop:9000/mining/，并保存，参考下图
修改完成后，打开数据挖掘，选择一个案例，运行
运行成功，表示Hadoop部署成功
| 注意 | ||
|---|---|---|
| ||
Rancher |
| 目录 |
|---|
