新特性列表中:+表示新增 ;^表示增强;<表示变更

数据准备^【数据集】优化SQL语句编辑器
^【加载文件数据】优化加载文件数据导入设置表头功能
数据挖掘+【挖掘】新增多层感知机算法节点
+【挖掘】增加下采样节点
+【挖掘】增加节点备注和复制功能
+【挖掘】新增kafka数据源节点
+【挖掘】新增异常值处理节点
+【数据挖掘】新增WOE编码节点
^【挖掘】新增新建、编辑数据集入口
^【数据挖掘】支持预览数据导出到本地
^【数据挖掘】支持高维数据矩阵
分析展现+【自助仪表盘】自助仪表盘增加鹰眼功能
+【自助仪表盘】浮动工具栏显示设置项
^【自助仪表盘】增强自助仪表盘TAB页组件功能
^【自助仪表盘】优化自助仪表盘组件之间联动关系的设置
Excel分析+【Excel分析】Excel分析优化大数据量情况

^【Excel分析】支持Excel图表

其他

+【系统函数】新增时间函数

<【流程引擎】审核的上下节点为同一个处理人时审批界面自动跳转
^【无状态】产品支持无状态化
^【ECharts】版本更新



{html}<h1 >数据准备</h1>{html}



^数据集优化SQL语句编辑器


背景介绍

V9.6及之后版本,我们优化了SQL数据集和原生SQL数据集中的SQL语句编辑器,使业务人员在编写SQL语句时,能够更加规范、易用、美观。

功能简介

对SQL语句编辑器的优化如下:

示例1:显示关键字高亮显示和输入提示,如图:

示例2:增加辅助工具如图:



^【加载文件数据】优化加载文件数据导入设置表头功能


背景介绍

为了提升用户体验感,V9.6版本我们优化了加载文件数据导入设置表头功能。

功能简介

在加载文件数据中,取消单击选中行作为表头的功能,改为点击 设为表头 按钮,设置任意行为表头。

改动的地方:数据源中的加载文件数据、自助数据集中的加载文件数据、插件端中的导入文件。




 

{html}<h1 >数据挖掘</h1>{html}



+【挖掘】新增多层感知机算法节点


背景介绍

数据中潜藏的规律按照以往的聚类,回归等传统分析手段很难被发现,Smartbi Mining新增多层感知机算法节点。多层感知机(MLP,Multilayer Perceptron)也叫人工神经网络(ANN,Artificial Neural Network),通过神经网络中的节点和隐藏层对数据特征进行‘学习’,并以模型形式保存,用于分类、预测等使用场景。

功能简介

多层感知机作为多分类算法节点与其他机器学习节点同样使用。

详情参考

关于数据挖掘的多层感知机,详情请参考 多层感知机 



+【挖掘】增加下采样节点


背景介绍

在数据挖掘过程中,原始数据的不均匀分布会影响到数据特征抽取,或者模型学习数据特征的效果,出现错判的情况,我们会对数据进行重采样,对原始数据进行初步加工,对出现频次较高的数据按照一定规则抽取一定数据使得整体分布均匀。

功能简介

V9.6及之后的版本新增下采样节点,可通过移除数据量较多类别的部分数据,使样本达到均衡。

详情参考

关于数据挖掘的下采样,详情请参考  采样 。



+【挖掘】增加节点复制和备注功能


背景介绍

机器学习实验往往牵涉多个节点,各节点之间关系也较为复杂,更或者自定义的算法节点只有实验构建者才明白其中的含义;同时在实验构建过程中,可能出现节点复用的情况。因此V9.6版本更新后,在实验和节点增加备注功能、节点增加复制功能,便于实验的交流和提高实验的构建速度。

功能简介

在画布空白处单击右键,选择“添加备注”,会弹出富文本编辑框,可以添加对实验背景的介绍等内容。

选中需要复制的节点,单击右键,出现‘复制’,也可以同时选中多个节点:

详情参考

关于节点的备注和复制功能,详情请参考  实验界面介绍 



+【挖掘】新增kafka数据源节点


背景介绍

kafka是一种高吞吐量的分布式发布订阅消息系统,经常用于实时流数据架构,提供实时分析。它具有高吞吐量、低延迟,每秒可以处理几万条消息,延迟最低只有几毫秒,以及可扩展性、持久性、可靠性、容错性、高并发等优点。因此,SmartV9.6版本新增了Kafka数据源。

功能简介

Kafka作为数据源,有以上三种使用场景:

这里展示当Kafka作为数据源时的模型自学习:

 

详情参考

关于kafka数据源,详情请参考  数据源

 


+【挖掘】新增异常值处理节点


背景介绍

无论是机器学习还是数据分析,总是要面对一大堆数据,总是免不了出现异常值的可能性,,异常值可以大幅度地改变数据分析和统计建模的结果,可能会造成回归、方差分析等统计模型假设的基本假设受影响等问题。

功能简介

V9.6及之后的版本新增异常值处理节点,可对存在异常的数据进行检测和识别,且对识别出的异常值进行处理。

详情参考

关于数据挖掘的异常值处理,详情请参考  异常值处理



+【挖掘】新增WOE编码节点


背景介绍

评分卡是将模型变量WOE编码方式离散化之后运用logistic回归模型进行的一种二分类变量的广义线性模型,也是信用风险评估和互联网金融领域常用的建模方法,比如信用卡风险评估、贷款发放等业务。除此之外,在其它领域也能够看到评分卡被用来作为分数评估,比如常见的客服质量打分、芝麻信用分打分等。

功能简介

WOE则是对原始自变量的一种编码形式,要对一个变量进行WOE编码,需要首先把这个变量进行分组处理,之后再计算出WOE值和IV值,根据这两个值来判断变量的预测强度。

因此V9.6版本新增WOE编码节点,可以对字段分箱后计算WOE值和IV值。

在查看分析结果中记录了变量的IV值,分箱区间及每个区间的WOE值。

详情参考

关于WOE编码,详情请参考 数据挖掘-WOE编码


^【挖掘】新增新建、编辑数据集入口


背景介绍

目前Smartbi的挖掘模块中,数据集节点只有选择数据集功能,为了方便用户可以在挖掘的实验界面中新建和编辑数据集,V9.6版本新增了新建、编辑数据集的入口。

功能简介

V9.6版本在数据集节点的参数设置界面新增了新建、编辑数据集的入口。

 

详情参考

关于数据源的数据集,详情请参考 数据集



^【挖掘】支持预览数据导出到本地


背景介绍

在挖掘实验过程中,对每一个执行完的节点资源我们都可以预览该节点的数据,如果可以将预览数据导出到本地,这将便于用户进行后续的处理或分析。

功能简介

V9.6及之后的版本支持预览数据导出到本地,在“查看输出”窗口新增“下载预览数据”选项。

注意事项

此处会把预览的数据以csv文件的方式下载到本地,不会下载全量数据,数据量最多100条。



^【挖掘】支持高维数据矩阵


背景介绍

高维数据是指具有多个属性的数据,它在我们日常生活中十分常见,比如各种类型的多媒体数据、文档词频数据等等。面对这些高维数据,我们该如何展示各种属性之间的联系和发现它们之间的规律。其实在过去的数十年里,可视化领域已经产生了大量优秀的技术,如散点图矩阵、平行坐标图等,以帮助用户分析这类数据。

功能简介

V9.6及之后的版本新增高维数据可视化节点,支持通过矩阵图和平行坐标图对高维数据进行可视化分析。

矩阵图效果:

平行坐标图效果:

详情参考

关于数据挖掘的高维数据矩阵,详情请参考 数据挖掘-高维数据矩阵




{html}<h1 >分析展现</h1>{html}


+【自助仪表盘自助仪表盘增加鹰眼功能


背景介绍

为了使业务人员操作更加灵活和方便,V9.6版本我们在自助仪表盘中增加了鹰眼功能,可以放大、缩小、一键自适应画布,使业务人员在制作图形较大的自助仪表盘时,能够更加灵活的编辑和查看。

功能简介

在自助仪表盘中,布局切换到自由布局后显示鹰眼功能,按钮从左到右为缩小、放大、高宽自适应,可以缩小、放大、使画布自适应屏幕

详情参考

关于自助仪表盘鹰眼的功能,详情请参考 鹰眼 


+【自助仪表盘】浮动工具栏显示设置项


背景介绍

自助仪表盘在浏览状态下,鼠标移至页面顶端,会有浮动工具栏提供“刷新、另存、导出、收藏、分享、评论、点赞”等功能,部分组件(例如清单表、交叉表、图形、URL、Tab页等)也有“导出PNG、导出Excel、作为筛选器、最大化”的组件级别功能,但是并非所有场景下都需要这些功能,故提供设置入口,供用户自行设置是否显示浮动工具栏。

功能简介

浮动工具栏的设置分两种级别

注意事项

目前支持报表级别和组件级别的浏览工具栏控制,其中报表级别是针对整个仪表盘所有组件进行设置,而组件级别支持清单表、交叉表、图形、URL、Tab页几类组件单独设置。




^【自助仪表盘增强自助仪表盘TAB页组件功能


背景介绍

在实际应用中,用户在编辑自助仪表盘的TAB页组件时,选择内部组件的工具栏操作比较麻烦。为了简化操作并提升用户体验感,V9.6及以后版本我们增强了自助仪表盘的TAB页组件功能。

功能简介

1、调整组件工具栏:

1)去掉内部组件工具栏,改为在页签或页签的下拉菜单中设置组件(不同的组件类型的设置项不同)。

2)在组件设置项中增加“移除组件”设置项,支持删除组件。

3)当页签内有组件时,在页签位置中右键,则显示TAB组件的组件设置项;当页签内没有组件时则不显示。

4)URL组件改为右键弹出组件设置项。

2、新增“页签顺序”设置项:

3、将添加页签按钮的位置调整到了页签的右侧。



^【自助仪表盘】优化自助仪表盘组件之间联动关系的设置


背景介绍

之前的版本,在自助仪表盘中筛选器或图表组件默认只能与同名字段自动关联,而在实际应用中,需要设置不同数据源的筛选器之间的关联。为了满足上述场景,V9.6及以后版本我们优化了自助仪表盘组件之间联动关系的设置。

功能简介

1、全局联动关系设置:

自主仪表盘工具栏中,增加 联动设置 按钮,可设置两个及两个以上的数据集/业务主题字段之间的联动关系。

支持两种方式设置全局联动关系:

2、影响报表和应用于组件:

注意事项

自助仪表盘中数据来源有两个及两个以上的数据集/业务主题,才能进行联动设置。




{html}<h1 >Excel分析</h1>{html}



+【Excel分析】Excel分析优化大数据量情况


背景介绍

我们在使用Excel分析的过程中,如果碰到加载的原始数据有几十万或者上百万这种大数据量,报表的查询、导出、Web端显示等等操作会出现等待时间过长的情况。因此在这次V9.6版本更新中,Excel分析新增了多个优化大数据量的功能。

功能简介

V9.6版本更新之后,针对大数据量情况Excel分析做了以下几种功能优化:



^【Excel分析】支持Excel图表


背景介绍

Excel本身自带的图形可以做出很多漂亮的图形,我们希望在Excel分析中也能使用Excel图表,同时还可以将制作完的图表保存为模板,方便用户对优质的模板进行共享和使用。

功能简介

V9.6版本更新之后,Excel分析工具栏新增“云图表”模块,支持Excel图形的使用以及保存为模板进行共享。





{html}<h1 >其他</h1>{html}



+【系统函数】新增时间函数


背景介绍

之前产品内置的时间函数较少,业务人员通常需要写SQL语句来获取需要的时间函数,这种方式比较麻烦、实用性不高。V9.6及以后版本我们新增了一些简单易用的时间函数,可以满足业务人员需要:

功能简介

1、产品的内置函数中新增了19个时间函数,如图:

2、在定义中改变函数设置方式:新增编辑框可手动添加参数值或拖拽函数;并增加预览功能。

注意事项

1、在参数定义中,不支持写SQL语句获取时间函数。

2、在 系统选项>电子表格>水印 中, “内容”设置项不支持使用新增的时间函数。

3、即席查询、透视分析等资源的表头表尾中,不适用新增的时间函数。


<【流程引擎】审核的上下节点为同一个处理人时审批界面自动跳转


背景介绍

之前的版本,在流程审批中如果审核的下一个处理人还是当前的处理人时,需要该审核人员重新进入到审批界面才会显示下一个处理信息。为了简化审批操作,我们重新处理了审批逻辑,实现了如果下一个处理人是当前处理人则不需要切换,自动跳转下一个到审批界面。

功能简介

审批通过后下一个处理人仍是当前处理人则自动跳转下一个到审批界面。


^【无状态】产品支持无状态化


背景介绍

以前的版本,Smartbi默认使用Session存储当前会话中的状态信息,用户在web端或者插件端编辑报表没有进行保存时,如果有人重启了服务器,则用户会丢失刚才编辑的报表和操作。为了解决这类问题并提升用户体验感,V9.6及之后的版本产品支持无状态化,即无论服务器是否重启,用户可以一直进行操作不被打断。

功能简介

产品目前使用Redis作为缓存服务器,将会话信息全部保存到Redis中,这样在切换或重启服务器后可以从Redis中获取原来的状态信息,无需用户再次登录,当前已经打开的报表仍然可以继续操作。

功能如下:

1、在服务器上安装Redis服务器。

2、在Smartbi 平台,新增会话缓存及“缓存的服务器地址”设置项,可配置Redis信息:


^【ECharts】版本更新


背景介绍

产品中ECharts图形的版本统一升级到最新的V4.8.0版本。