页面树结构

版本比较

标识

  • 该行被添加。
  • 该行被删除。
  • 格式已经改变。

详细的升级文档请参见:Python执行节点更新  。

UI调整

1、数据源按照以下顺序排序:

  • “全部”标签页中,数据库分为“常用数据库”与“所有数据库”:常用数据库:按数据库的新建次数由高到低排序;所有数据库:按照字母顺序排序。
  • “本地数据库、关系数据库、多维数据库、NoSQL数据库”页签中,所有数据库按照字母顺序排序。
  • Other数据源不按字母排序,位置在所有数据库和关系数据库最后。

2、在系统设置页面右上角增加麦粉社区的链接,链接到麦粉社区首页。

功能影响

自助仪表盘组件联动

删除筛选器应用于组件的“高级设置”选项、“合并参数”选项,所有的联动关系都在全局的联动设置中设置。
升级部署

一、升级前须知

存储挖掘实验的节点中间数据

V9.6版本修改了实验节点中间数据的存储逻辑,实现了对于任何节点,只要它上游节点执行完成,都可以从该节点执行,不需要从头开始执行。由于使用HDFS存储节点数据,因此V9.6升级需要在默认部署环境中增加HDFS的部署。

HDFS的部署方法如下:

部署环节

步骤详情

准备hadoop数据目录

1、创建临时目录:

mkdir -p /opt/hdfs/tmp

2、创建namenode数据目录

mkdir -p /opt/hdfs/name

3、创建datanode 数据目录

注意:这个目录尽量创建在空间比较大的目录,如果有多个磁盘,可以创建多个目录

mkdir -p /opt/hdfs/data

解压Hadoop到安装目录

tar -zxvf hadoop-2.7.3.tar.gz -C /opt

修改hadoop配置

1、修改hadoop-env.sh

# cd /opt/hadoop-2.7.3/etc/hadoop
# vi hadoop-env.sh

2、找到JAVA_HOME,修改为如下所示:

export JAVA_HOME=/opt/jdk1.8.0_181

3、找到export HADOOP_OPTS, 在下面添加一行

export HADOOP_NAMENODE_OPTS="-XX:+UseParallelGC -Xmx4g"

4、修改core-site.xml

cd /opt/hadoop-2.7.3/etc/hadoop
vi core-site.xml

内容如下:

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://smartbi-spark:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>file:/opt/hdfs/tmp</value>
    </property>
    <property>
        <name>fs.trash.interval</name>
        <value>100800</value>
    </property>
</configuration>

5、修改hdfs-site.xml

cd /opt/hadoop-2.7.3/etc/hadoop
vi hdfs-site.xml

内容如下:

注意:dfs.data.dir尽量配置在空间比较大的目录,可以配置多个目录,中间用逗号分隔

<configuration>
    <property>
        <name>dfs.name.dir</name>
        <value>file:/opt/hdfs/name</value>
    </property>
    <property>
        <name>dfs.data.dir</name>
        <value>file:/opt/hdfs/data</value>
    </property>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.webhdfs.enabled</name>
        <value>true</value>
    </property>
</configuration>

配置hadoop环境变量

vi /etc/profile

在最底下添加下面内容:

export HADOOP_HOME=/opt/hadoop-2.7.3
export PATH=$PATH:$HADOOP_HOME/bin

让配置生效

source /etc/profile

详细的升级文档请参见:数据挖掘引擎V95升级V96版本注意事项

面板
borderColor#BBBBBB
bgColor#F0F0F0
borderWidth1
borderStylesolid

目录

实验引擎跟python执行节点的交互,使用restful方式

在V9.5版本中,实验引擎跟python执行节点交互是使用ssh方式;基于安全跟系统扩展性考虑,V9.6版本实验引擎跟python执行节点交互是使用restful方式。

因此V9.6版本升级需要按照如下方法部署python节点:

部署环节

步骤详情

配置基础环境

1)安装JAVA

解压jdk到指定目录:

# tar -zxvf jdk-8u181-linux-x64.tar.gz -C /opt

添加环境变量。

# vi /etc/profile

在最底下添加下面内容:

export JAVA_HOME=/opt/jdk1.8.0_181

export JAVA_BIN=$JAVA_HOME/bin

export CLASSPATH=:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

export PATH=$PATH:$JAVA_BIN

让配置生效

# source /etc/profile

#java -version 

2)配置本地yum源

参考文档:https://www.jellythink.com/archives/548

安装Python主程序

1)安装依赖包

#rpm -ivh bzip2-1.0.6-13.el7.x86_64.rpm

#yum install gcc

注意:

Centos7.4 以上,无需安装依赖包。 

2)安装 Anaconda3并指定安装目录为/opt/anaconda3

#bash Anaconda3-2019.10-Linux-x86_64.sh -b -p /opt/anaconda3

3)配置环境变量

#vi /etc/profile

在末尾添加以下内容:

export PATH=/opt/anaconda3/bin:$PATH

使配置生效

# source /etc/profile

4) 检验是否安装成功

#python --version

Python 3.7.4   #表示安装成功

离线安装Python插件

批量安装:

#pip install --no-index --find-links=./plugin/ -r requirements.txt

部署引擎包

解压到安装目录

#tar -zxvf SmartbiMiningEngine-V9.6.56248.20231.tar.gz -C /opt

创建Python执行用户

创建用户

useradd mining-py

设置用户密码

passwd mining-py

给引擎安装目录附权限(为了使用mining-py用户启动执行代理程序时候,有权限创建data跟logs目录)

chmod 777 /opt/smartbi-mining-engine-bin

启动python执行代理

通过系统管理员登录smartbi

系统选项—引擎设置

Image Removed

登录到python节点机器,并切换到mining-py用户

注意
title注意

为了避免出现安全问题,一定要切换到mining-py用户去启动执行代理服务,不要使用安装用户或带有sudu权限的用户来启动执行代理服务。

# su - mining-py

切到引擎启动目录

cd /opt/smartbi-mining-engine-bin/engine/sbin

把拷贝命令粘贴,例如:

./agent-daemon.sh start --master http://smartbi-engine:8899 --env python

目录

在升级Smartbi之前,我们需要先阅读以下产品升级的注意事项。

1、系统备份

在任何情况下的Smartbi升级,都是需要先进行容灾备份的。说明如下:

备份范围

补充说明

知识库备份

1.通过Smartbi备份知识库,在Smartbi选择 系统运维 > 备份知识库

2.通过数据库工具备份数据库。

war包备份

授权许可文件备份

2、预升级测试

在正式升级Smartbi之前,一般还需要进行预升级测试,可以选择先搭建测试环境或者基于现有的开发环境来进行这一步操作。

注意

在测试环境上未测试通过的情况下,最好不要直接对生产环境进行操作,以防对生产环境造成损坏。

3、评估定制功能

如果在升级Smartbi的过程中有通过二次开发实现的定制功能,那在升级之前我们需要考虑这几个点(如确认需升级请联系我司评估):

1. 定制扩展包的兼容性;

2. 评估二次开发的代码升级代价;

3. 环境依赖和功能变化对现在项目使用的影响;

因此,在升级之前需要先联系定制部门去评估定制功能的兼容升级。

二、升级后的变化注意事项:

1、License变更

背景:Beta版本的Smartbi,在授权文件License中增加了对新功能模块的控制。

操作:在升级Smartbi之前,需要联系Support技术支持获取对应版本的License文件,然后上传到升级后的Smartbi系统中,实现更新License文件。

2、限制报表导出文件的时间

背景:为了避免用户在导出大数据量查询时候导致对服务器资源压力过大、占用大量带宽。

Image Added

功能入口:进入Smartbi选择 系统运维 > 系统选项 > 高级设置 。在“高级设置”界面中增加设置项“文件导出最大执行时长”。

设置项内容为:初始值为15,单位:分钟。这个值可以是数值型或false,值为false时表示不限制导出时间。支持用户根据实际情况进行修改。

Image Added

注意

通过计划任务设置的导出报表,不受文件导出最大执行时长限制。

3、数据挖掘功能需要额外升级操作(重要)

注意:升级需要进行以下的操作,否则将无法使用数据挖掘功能。

新版本修改了数据挖掘实验节点中间数据的存储逻辑,提高了系统的稳定性与安全性。

由于使用了HDFS存储节点数据,因此升级需要在默认部署环境中增加部署Hadoop组件,并升级Spark到3.0版本。

升级数据挖掘有以下两种方式:

4、权限变更(重要)

1)引用权限的变更:
新版本引用权限进行重新定义。原版本中,比如一个报表的引用资源是某个自助数据集,用户的某个报表只要拥有该自助数据集的引用权限,就能查看该自助数据集在目录树中。新版本升级后,即使拥有相应资源的引用权限,也不会看到相应资源在目录树上,最起码需要有查看权限才能看到;

2)数据行权限变更:

新版本数据行权限底层技术进行了一些变更调优,原来的数据行权限升级到新版本里面能自动兼容性升级。需要注意的是如果升级后,新增了数据权限再回退到原来的版本,新的数据权限不一定能兼容回退。因此做此回退操作前必须备份知识库。(重要)

3)编辑权限:合并旧的编辑权限和删除权限为一个资源权限——编辑。

4)增加授权快捷入口:在报表的资源授权界面添加“引用依赖资源”、“高级授权”按钮,点击 引用依赖资源 可以一键授予其依赖资源的引用权限。

5、水印变更(重要)

V9.5升级后,水印都建议用全局水印设置,更加方便和统一。原来针对单个报表设置的电子表格插件水印将不生效,包括插件里面的水印设置选项也将屏蔽。升级前请联系我司评估。


6、即席查询转换透视分析时过滤器的变化

升级到V9版本,即席查询转换透视分析时过滤器的变化如下:

升级前:最终生成透视分析的过滤器取决于转换透视分析那一刻过滤器的情况。如果在转换时选中了某个过滤器,则设置的过滤器对该透视分析永久生效;如果删除了过滤器,则透视分析报表会报错。

升级后:最终生成透视分析的过滤器取决于即席查询最后一次保存时所选中的过滤器。也就是说,透视分析生成后,修改即席查询的过滤器同样会对透视分析生效。