页面树结构
转至元数据结尾
转至元数据起始

正在查看旧版本。 查看 当前版本.

与当前比较 查看页面历史

版本 1 下一个 »

升级部署

存储挖掘实验的节点中间数据

V9.6版本修改了实验节点中间数据的存储逻辑,实现了对于任何节点,只要它上游节点执行完成,都可以从该节点执行,不需要从头开始执行。由于使用HDFS存储节点数据,因此V9.6升级需要在默认部署环境中增加HDFS的部署。

HDFS的部署方法如下:

部署环节

步骤详情

准备hadoop数据目录

1、创建临时目录:

mkdir -p /opt/hdfs/tmp

2、创建namenode数据目录

mkdir -p /opt/hdfs/name

3、创建datanode 数据目录

注意:这个目录尽量创建在空间比较大的目录,如果有多个磁盘,可以创建多个目录

mkdir -p /opt/hdfs/data

解压Hadoop到安装目录

tar -zxvf hadoop-2.7.3.tar.gz -C /opt

修改hadoop配置

1、修改hadoop-env.sh

# cd /opt/hadoop-2.7.3/etc/hadoop
# vi hadoop-env.sh

2、找到JAVA_HOME,修改为如下所示:

export JAVA_HOME=/opt/jdk1.8.0_181

3、找到export HADOOP_OPTS, 在下面添加一行

export HADOOP_NAMENODE_OPTS="-XX:+UseParallelGC -Xmx4g"

4、修改core-site.xml

cd /opt/hadoop-2.7.3/etc/hadoop
vi core-site.xml

内容如下:

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://smartbi-spark:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>file:/opt/hdfs/tmp</value>
    </property>
    <property>
        <name>fs.trash.interval</name>
        <value>100800</value>
    </property>
</configuration>

5、修改hdfs-site.xml

cd /opt/hadoop-2.7.3/etc/hadoop
vi hdfs-site.xml

内容如下:

注意:dfs.data.dir尽量配置在空间比较大的目录,可以配置多个目录,中间用逗号分隔

<configuration>
    <property>
        <name>dfs.name.dir</name>
        <value>file:/opt/hdfs/name</value>
    </property>
    <property>
        <name>dfs.data.dir</name>
        <value>file:/opt/hdfs/data</value>
    </property>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.webhdfs.enabled</name>
        <value>true</value>
    </property>
</configuration>

配置hadoop环境变量

vi /etc/profile

在最底下添加下面内容:

export HADOOP_HOME=/opt/hadoop-2.7.3
export PATH=$PATH:$HADOOP_HOME/bin

让配置生效

source /etc/profile

详细的升级文档请参见:数据挖掘引擎V95升级V96版本注意事项

实验引擎跟python执行节点的交互,使用restful方式

在V9.5版本中,实验引擎跟python执行节点交互是使用ssh方式;基于安全跟系统扩展性考虑,V9.6版本实验引擎跟python执行节点交互是使用restful方式。

因此V9.6版本升级需要按照如下方法部署python节点:

部署环节

步骤详情

配置基础环境

1)安装JAVA

解压jdk到指定目录:

# tar -zxvf jdk-8u181-linux-x64.tar.gz -C /opt

添加环境变量。

# vi /etc/profile

在最底下添加下面内容:

export JAVA_HOME=/opt/jdk1.8.0_181

export JAVA_BIN=$JAVA_HOME/bin

export CLASSPATH=:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

export PATH=$PATH:$JAVA_BIN

让配置生效

# source /etc/profile

#java -version 

2)配置本地yum源

参考文档:https://www.jellythink.com/archives/548

安装Python主程序

1)安装依赖包

#rpm -ivh bzip2-1.0.6-13.el7.x86_64.rpm

#yum install gcc

注意:

Centos7.4 以上,无需安装依赖包。 

2)安装 Anaconda3并指定安装目录为/opt/anaconda3

#bash Anaconda3-2019.10-Linux-x86_64.sh -b -p /opt/anaconda3

3)配置环境变量

#vi /etc/profile

在末尾添加以下内容:

export PATH=/opt/anaconda3/bin:$PATH

使配置生效

# source /etc/profile

4) 检验是否安装成功

#python --version

Python 3.7.4   #表示安装成功

离线安装Python插件

批量安装:

#pip install --no-index --find-links=./plugin/ -r requirements.txt

部署引擎包

解压到安装目录

#tar -zxvf SmartbiMiningEngine-V9.6.56248.20231.tar.gz -C /opt

创建Python执行用户

创建用户

useradd mining-py

设置用户密码

passwd mining-py

给引擎安装目录附权限(为了使用mining-py用户启动执行代理程序时候,有权限创建data跟logs目录)

chmod 777 /opt/smartbi-mining-engine-bin

启动python执行代理

通过系统管理员登录smartbi

系统选项—引擎设置

登录到python节点机器,并切换到mining-py用户

注意

为了避免出现安全问题,一定要切换到mining-py用户去启动执行代理服务,不要使用安装用户或带有sudu权限的用户来启动执行代理服务。

# su - mining-py

切到引擎启动目录

cd /opt/smartbi-mining-engine-bin/engine/sbin

把拷贝命令粘贴,例如:

./agent-daemon.sh start --master http://smartbi-engine:8899 --env python

详细的升级文档请参见:Python执行节点更新  。


UI调整

1、数据源按照以下顺序排序:

  • “全部”标签页中,数据库分为“常用数据库”与“所有数据库”:常用数据库:按数据库的新建次数由高到低排序;所有数据库:按照字母顺序排序。
  • “本地数据库、关系数据库、多维数据库、NoSQL数据库”页签中,所有数据库按照字母顺序排序。
  • Other数据源不按字母排序,位置在所有数据库和关系数据库最后。

2、在系统设置页面右上角增加麦粉社区的链接,链接到麦粉社区首页。

功能影响

自助仪表盘组件联动

删除筛选器应用于组件的“高级设置”选项、“合并参数”选项,所有的联动关系都在全局的联动设置中设置。


  • 无标签