9.5版本于2020年4月发布,新特性列表中:+表示新增 ;^表示增强。
数据连接 | +【数据库】业务库、知识库、ETL数据来源及目标源支持Gauss100数据库 +【数据源】提供新数据源扩展支持接口 ^【数据源】默认加载配置的schema |
---|---|
数据准备 | ^【自助数据集】提供根据表或者数据集ID创建自助数据集的接口 ^【数据抽取】自助数据集抽取自动生成计划任务优化 ^【数据集】SQL语句编辑器优化完善 |
数据挖掘 | +【数据挖掘】模型自学习功能 +【挖掘引擎】安装部署任务:针对服务引擎负载均衡功能 +【数据挖掘】增加聚类模型系数输出 +【数据挖掘】实验编辑界面的撤销功能 +【数据挖掘】文本分析:增加词频统计功能 +【数据挖掘】模型离线批量预测:支持设定任务调度策略(单次/周期) +【数据挖掘】挖掘跟BI功能打通 |
分析展现 | +【自助仪表盘】自助仪表盘过滤器及组件支持跨数据集映射 +【自助仪表盘】仪表盘上的URL资源支持互动和下钻 +【自助仪表盘】地图二期功能完善 ^【自助仪表盘】跑马灯支持设置时间间隔 ^【自助仪表盘】自助仪表盘选器标记面板等支持收起。 ^【自助仪表盘】建议双击组件标题时,可进行修改 ^【自助仪表盘】弹出窗口默认点击空白处不关闭 +【透视分析】交叉表的度量支持多指标排序 ^【透视分析】组合透视支持对分组聚合后的数据进行过滤 ^【透视分析】小计合计不参与排序 ^【透视分析】待选列增加搜索 +【电子表格】流程引擎支持分支和会签 +【电子表格】多人填报-支持权限配置 +【Excel分析】透视分析及即席查询作为数据集 +【Excel分析】产品web端目录及数据源支持多语言的切换 ^【Excel分析】选择参数刷新改进 ^【Excel分析】默认参数设置界面优化 ^【分析展现】资源访问次数完善新增资源 ^【分析展现】插件更新信息需要及时更新 ^【分析展现】组合、透视分析告警支持空 |
公共设置 | ^【系统函数】增加获取角色的系统函数、时间函数 ^【参数】弹框参数备选值搜索可以查询所有数据 |
系统运维 | +【素材库管理】提供公共的素材库功能 |
其他 | +【多语言】调整繁体版、英文版静态界面 +【其他】所有功能界面都能相互链接 ^【其他】报表上增加执行时间同步V9 |
安全 | +【安全监测】奇安信众测问题修改 ^【华为CBG】安全规格测试漏洞/安全需求_第一次扫描问题 ^【安全问题】日志审计补充完善 |
性能 | +【性能优化】自助仪表盘导出性能优化 +【性能调优】资源打开性能对比优化修改 +【MPP缓存】即席分析、透视分析、SQL查询等参数/条件取数支持落地缓存 ^【性能优化】知识库大数据量场景性能优化 ^【性能调优】竞品性能压测对比修改 ^【数据抽取】多维数据集查询抽取内存溢出 |
数据连接
^【数据库管理】默认加载配置数据源指定的Schema
背景介绍
连接数据源后,用户需要选择数据库中的各类资源到系统中。之前的版本打开数据库管理界面,会自动加载数据库第一个Schema,用户再选择自己想要的Schema。V9.5版本优化加载Schema的方式,默认加载配置数据源指定的Schema,实现了一步到位。
功能简介
V9.5及之后版本,对于有Schema的关系数据源,我们可以通过预先配置Schema,之后打开其“数据库管理”界面时,系统就会默认加载配置的Schema。
关系数据库中可配置默认Schema的方式有以下几种:
- 数据库连接的用户 user
- 数据库连接 url 中的路径:jdbc:://<servername>/<Schema>
- 数据库连接 url 中的参数:jdbc:://<servername>/<database>?currentSchema=<Schema>
这里以数据库连接的用户 user为例:
+【数据连接】华为Gauss100数据库
背景介绍
Gauss100是一款华为自研的企业级关系型数据库引擎,具有高性能、高可用、高扩展、易运维等优点,可稳定高效的运行在x86开放架构平台上。
随着华为Gauss100数据库被越来越多用户使用,V9.5及之后版本,Smartbi对Gauss100数据库做了适配。
功能简介
V9.5及之后版本您可以借助Smartbi对接华为Gauss100数据库进行数据分析,包括可以应用在数据源、知识库、ETL目标库。
注意事项
GaussDB100数据源目前暂不支持用来创建存储过程数据集。
数据准备
+【自助数据集】挖掘跟BI打通
背景介绍
“数据挖掘”、“自助ETL”等有着强大的数据处理能力,但由于与产品其他模块的衔接有限,使得这些模块的处理结果很难得到充分使用。
功能简介
在自助数据集界面的“数据集”新增“数据挖掘”和“自助ETL”入口,支持数据挖掘和自助ETL的输出结果作为自助数据集的数据来源,输出结果以表的形式呈现,支持关于表的基本操作,例如表之间的JION。自助数据集可以直接获取“数据挖掘”、“自助ETL”的处理结果,借助自助数据集与BI产品的融合度,提高“数据挖掘”、“自助ETL”与产品其他模块的衔接程度。若实验或自助ETL存在多个输出节点,拖动时会出现弹框,选择相应输出节点即可。
注意事项
在自助数据集使用DAG资源的前提是DAG资源有关系目标源且运行成功;
详情参考
关于自助数据集的数据来源,详情请参考 自助数据集-概述说明。
^【抽取任务】抽取界面优化
背景介绍
为了提升用户的体验感,v9.5版本对抽取界面进行优化,调整了抽取界面中“定时抽取”设置项。
功能简介
V9.5及之后版本“数据抽取”界面调整了“定时抽取”设置项的位置,增加“启用”和“禁用”设置项来决定是否使用“定时抽取”,“执行时间”设置项用于简述定抽取的任务内容。
详细参考
关于定时抽取,详情可参考 计划。
数据挖掘
+【数据挖掘】模型支持自学习功能
背景介绍
机器学习中发布到生产的服务内所训练的模型随着时间推移,准确性可能会逐步降低。这时若通过补充新的数据,重新进行训练,则有可能提高模型准确性。若能将这个步骤自动化,并能自动将符合一定要求的模型发布或者部署到生产中,则能解决模型长期得不到更新而导致准确性降低的问题,并极大减轻运维人员的工作量。
功能简介
适用场景要求
- 模型已经训练好并发布为服务,用户希望模型能定期更新
- 模型的训练数据能定期更新
功能简介
用户可以在实验编辑而界面进入模型自学习定义,功能入口如下:
+【数据挖掘】增加聚类模型系数输出
背景介绍
用户在做聚类时,想要分析每个类别的属性的差异存在一定的困难,希望有一个可以输出每个类别的质心的功能,能够快速找出同一类元素之间的相似性,比如聚到同一个数据集中的样本彼此相似,而属于不同组的样本则体现出足够的不相似。
功能简介
V9.5及之后版本,对K均值算法新增“聚类系数”节点的功能,其它聚类算法节点的“聚类系数”功能输出为空。通过添加“聚类系数”节点,将K均值算法中的质心输出为系数,用于解释聚类算法结果。系数中的各指标字段是从不同角度对质心的描述,即从数值上对不同类别进行解释。
使用场景:某服装行业希望通过L(加入会员的时长),R(距离最近一次交易),F(交易频率),M(交易金额),C(平均折扣区间)对客户进行分类,实验结果显示分为5类,以0-4进行类别标记。为了准确进行客户关系管理,研究人员输出每个类别的质心的LRFMC,并在BI中通过雷达图展示不同类别的属性。实验画布效果如下:
BI自主仪表盘展示如下:
+【数据挖掘】增加实验编辑界面撤销功能
背景介绍
在做实验编辑的时候,如果所做的操作不合适,而想返回到当前结果上一步的状态,就需要一个“撤销/恢复”的功能,使实验操作更便利。
功能简介
V9.5及之后版本,在实验编辑界面新增了“撤消”功能。在实验编辑界面的任何操作,都可以撤销和还原。通过撤销和还原功能,一键即可恢复到上一步的操作结果。该功能效果类似于word当中的“撤消键”。
l 撤消:指恢复到上一步操作后的内容。
l 还原:指将撤销的内容恢复。
实验编辑界面的“撤销”和“还原”入口如下:
+【数据挖掘】文本分析增加词频统计功能
背景介绍
大数据时代,在我们生活中很大一部分数据是以文本形式存在的,比如办公文档、Web页面新闻等。面对海量的文本数据,有没有办法从中挖掘到有价值的信息成为一个信息领域研究热点。
功能简介
词频即词语出现的次数,词频分析是Smartbi文本挖掘的一个重要手段。它通过对词语或关键字在文档中出现的次数分析可从大量文本数据中抽取出未知的、重要的、有价值的知识。
Smartbi词频分析常见的场景如下:
Ø 用户偏好分析:用户评论的文本抓取与分析分析出用户的产品偏好及情感评价,对产品的研发有一定的指导意义;
Ø 知识管理:任何行业都需要管理大量文本文档,一个很大的问题就是——无法快速地找到重要的信息。通过Smartbi词频分析就可以解决这个问题;
Ø 客户服务:挖掘用户反馈里面重要信息,可以用来改善客户体验,为客户提供快速高效的解决方案,减少人工的帮助,节省人力;
除了以上的场景举例,任何跟文本数据相关的分析场景,使用词频统计都能帮助您获益。而完成这一切的事情,只需要在Smartbi里面通过拖拽方式数分钟内即可完成,并且结果可以通过词云图、柱状图等丰富的统计图形进行可视化的呈现。
详细参考
关于词频统计功能,详情请参考 词频统计详情帮助文档.docx 以及 附件:常见停用词处理列表.txt。
+【数据挖掘】模型离线批量预测
背景介绍
此前版本的Smartbi数据挖掘采用服务发布的方式将预测结果数据投放到生产,但是此方式一般只能处理小数据量的数据。因此设计了模型离线批量预测的功能。
功能简介
模型离线批量预测跟服务发布的功能作用是类似的,主要是解决客户训练出来的模型对外输出预测结果的问题,其中“批量预测”主要是针对批量的数据;您可以通过模型离线批量预测定时调度训练好的模型DAG来将批量预测结果数据输入到目标表中。另外,Smartbi提供统一的模型批量预测监控界面,全方位帮助您观察预测任务的运行状态和作业调用记录。
分析展现
+【自助仪表盘】URL链接支持内外部资源传参
背景介绍
之前的版本,业务人员在制作自助仪表盘时,URL链接的资源是静态的,无法做到与内部、外部的资源交互,例如传参、下钻等。
功能简介
为了改善这个问题,对URL资源功能进行了改进:URL链接支持内外部资源传参。在编辑URL链接界面中对链接目标设置传值。
外部链接可以对链接的外部资源传值。
内部链接可以对链接内部资源传值。
适用场景
1、TAB下钻
2、参数联动
3、跳转规则
注意事项
URL组件之间不支持联动。
详细参考
关于设置URL链接组件,详情请参考
^【自助仪表盘】完善自助仪表盘地图功能
背景介绍
为了提高用户的体验,完善了产品关于自助仪表盘地图的一些功能。
功能简介
对自助仪表盘地图的一些配置项进行了完善:
1、当自助仪表盘的数据来源是业务主题时,新增“标记地理维度”设置项。
2、散点地图的颜色、大小等字段新增“TOPN设置”设置项。
3、当散点地图的多个区域地理维包含同一个点时,则点之间的位置进行偏移。
4、展开标记区的一个标记序列,支持通过双击字段将字段添加到标记序列中。
例如下图:打开name标记序列,然后双击后将value字段添加到name标记序列中。
5、支持标记序列的展开与收起。
6、在标记区中修改了标记字段的颜色设置组件:
1)颜色条初始名修改为“自定义”。
2)新增 区间连续 按钮,可以设置起始颜色和终点颜色,起始和终点颜色之间自动连续过渡。
3)新增 自定义 按钮,可以设置颜色显示的最大值和最小值,设置完成后自动生成区间名称,区间名称也可以手动修改。
4)修改勾选了 反转颜色 按钮的状态,如果勾选了 反转颜色 按钮,保存后再次打开颜色设置窗口,按钮状态为勾选。