版本比较
标识
- 该行被添加。
- 该行被删除。
- 格式已经改变。
高性能版本-数据挖掘V95到V96版本升级内容如下:
数据挖掘组件 | V95版本 | V96版本 | 更新内容 |
---|---|---|---|
实验引擎 | √ | √ | 数据挖掘引擎版本更新 |
服务引擎 | √ | √ | 数据挖掘引擎版本更新 |
Spark | √ | √ | Spark版本由2.4升级到3.0版本 |
Python执行节点 | √ | √ | 数据挖掘引擎版本更新,新增代理程序启动用户。 |
Hadoop | × | √ | 新增Hadoop组件,用于节点中间数据存储。 |
Spark版本升级
1、导入Spark新镜像
获取新的spark镜像,上传到高性能版本部署服务器,并导入
代码块 | ||
---|---|---|
| ||
docker load < Smartbi-Spark.tar #镜像导入到docker中 docker tag localhost:5000/smartbi-spark:V9.6 服务器IP:5000/smartbi/smartbi-spark:V9.6 #注意将服务器IP替换成实际部署rancher控制台的服务器内网IP地址 docker push 服务器IP:5000/smartbi/smartbi-spark:V9.6 #注意服务器IP替换成实际部署rancher控制台的服务器内网IP地址,将镜像上传到harbor中 |
2、停止Spark服务
登陆Rancher控制台,勾选 smartbi-spark-master和 smartbi-spark-worker1 服务,点击暂停编排
3、更新Spark服务挂载目录
获取新的Spark挂载文件,上传到高性能版本部署服务器中,并解压到指定目录。
代码块 | ||
---|---|---|
| ||
tar -zxvf spark-3.0.0-bin-hadoop2.7.tar.gz -C /opt |
进入高性能版本安装目录<高性能安装目录>/smartbi_data/,例如:
代码块 | ||
---|---|---|
| ||
cd /data/Smartbi_All/smartbi_data/ |
备份原有的Spark服务挂载目录,并将新的挂载目录移动到<高性能安装目录>/smartbi_data/下,注意替换实际的目录。
代码块 | ||
---|---|---|
| ||
mv smartbi-spark smartbi-spark_bk mv /opt/spark-3.0.0-bin-hadoop2.7 /data/Smartbi_All/smartbi_data/smartbi-spark |
4、升级Spark版本
登陆Rancher控制台
①选 smartbi-spark-master服务,点击查看/编辑YAML,如下图所示
找到smartbi-spark:V9.0修改成smartbi-spark:V9.6,参考下图:
修改完成后点击保存
②选择 smartbi-spark-worker1 服务,参考smartbi-spark-master服务修改方法,将配置文件中的smartbi-spark:V9.0修改成smartbi-spark:V9.6,保存
③勾选smartbi-spark-master服务和 smartbi-spark-worker1 服务,点击恢复编排,等待容器启动成功。
④服务启动成功后可查看对应日志是否有报错。
浏览器打开http://IP:32002/ 检查Spark版本
登陆smartbi,点击数据挖掘,运行挖掘实验查看是否运行成功,运行成功则说明Spark服务更新成功。
部署Hadoop服务
注意 | ||
---|---|---|
| ||
其中 kW9y@5yheyJ&IMlD41Dlv#lHFKi7fg7# 是默认spark认证密钥, 支持更改成自定义的字符串(大小写英文字母+数字+英文符号构成)。 |
目录 |
---|