...
...
导入数据的字段名称不支持以数字开头,如果出现以数字开头的字段名时,会自动使用默认的字段名称“column1,column2,column3,....”。
...
...
<【数据源】对数据源摆放顺序优化
...
背景介绍
为了方便用户查找与新建数据库,V9.6版本,我们对数据库的显示摆放顺序进行了优化。
...
Other数据源不按字母排序,位置在所有数据库或关系数据库最后。
锚 |
---|
| #Smartbi V9.6版本数据准备 |
---|
| #Smartbi V9.6版本数据准备 |
---|
|
Wiki 标记 |
---|
{html}<h1 >数据准备</h1>{html} |
...
改动的地方:数据源中的加载文件数据、自助数据集中的加载文件数据、插件端中的导入文件。
...
...
+【数据抽取】数据抽取支持备份表数据
...
背景介绍
数据抽取可以将源数据库中的数据抽取到高速缓存库中,提高系统的性能和效率。V9.6版本数据抽取支持备份表数据,可以避免丢失之前抽取的数据或历史记录。
...
2、高速缓存库为infobright不支持抽取表备份。
...
...
^【数据抽取】完善数据抽取日志
...
背景介绍
随着数据的爆炸性增长,用户需要抽取的数据量越来越大,所消耗的时间也越多。为了能在数据抽取的过程中了解抽取的状态、获得更多的信息,便于系统运维,V9.6版本对数据抽取的日志进行完善。
...
Wiki 标记 |
---|
{html}<h1 >数据挖掘</h1>{html} |
...
...
+【数据挖掘】引擎调度机制执行粒度细化至单个节点
...
背景介绍
...
具体在 Smartbi上体现为节点的右键菜单增加“执行该节点”和“从当前节点开始执行”功能项。

...
...
+
...
【数据挖掘】增加节点复制和备注功能
...
背景介绍
机器学习实验往往牵涉多个节点,各节点之间关系也较为复杂,更或者自定义的算法节点只有实验构建者才明白其中的含义;同时在实验构建过程中,可能出现节点复用的情况。因此V9.6版本更新后,在实验和节点增加备注功能、节点增加复制功能,便于实验的交流和提高实验的构建速度。
...
关于节点的备注和复制功能,详情请参考 实验界面介绍 。
...
...
+
...
【数据源】新增kafka数据源节点
...
背景介绍
kafka是一种高吞吐量的分布式发布订阅消息系统,经常用于实时流数据架构,提供实时分析。它具有高吞吐量、低延迟,每秒可以处理几万条消息,延迟最低只有几毫秒,以及可扩展性、持久性、可靠性、容错性、高并发等优点。因此,Smart在V9.6版本新增了Kafka数据源。
...
详情参考
关于kafka数据源,详情请参考 数据源。
...
...
+
...
【数据预处理】增加下采样节点
...
背景介绍
在数据挖掘过程中,原始数据的不均匀分布会影响到数据特征抽取,或者模型学习数据特征的效果,出现错判的情况,我们会对数据进行重采样,对原始数据进行初步加工,对出现频次较高的数据按照一定规则抽取一定数据使得整体分布均匀。
...
详情参考
关于数据挖掘的下采样,详情请参考 采样 。
...
...
+
...
【数据预处理】新增异常值处理节点
...
背景介绍
无论是机器学习还是数据分析,总是要面对一大堆数据,总是免不了出现异常值的可能性,,异常值可以大幅度地改变数据分析和统计建模的结果,可能会造成回归、方差分析等统计模型假设的基本假设受影响等问题。
...
关于数据挖掘的异常值处理,详情请参考 异常值处理。
...
...
...
^【特征工程】特征工程增加重要性分析(GBDT)
...
背景介绍
Smartbi现有的特征选择方法有卡方特征选择和随机森林特征选择,针对不同的数据情况有更丰富的特征选择方法及可对比性,V9.6版本新增GBDT特征选择节点。它的优势在于泛化能力强、模型输出后便于选择特征等。
...
输出特征选择后的特征及其重要程度,以柱图展示如下:

...
+【特征工程】拆分归一化算法为独立节点
...
背景介绍
数据预处理在众多机器学习算法中都起着重要作用,实际情况中,将数据做归一化处理,消除量纲可以加速优化过程,使模型更好、更快的达到收敛。而在此之前Smartbi的归一化算法是封在其他算法当中,因此为了满足灵活性的需要,V9.6将归一化算法拆分为独立节点。
...
Smartbi的归一化算法有四种,分别为:正则化、标准化、最小最大值归一化、最大绝对值归一化。

详情参考
详情参考数据挖掘-归一化。
锚 |
---|
| V9.6_数据挖掘10数据挖掘8 |
---|
| V9.6_数据挖掘10数据挖掘8 |
---|
|
...
^【统计分析】支持高维数据矩阵
...
背景介绍
高维数据是指具有多个属性的数据,它在我们日常生活中十分常见,比如各种类型的多媒体数据、文档词频数据等等。面对这些高维数据,我们该如何展示各种属性之间的联系和发现它们之间的规律。其实在过去的数十年里,可视化领域已经产生了大量优秀的技术,如散点图矩阵、平行坐标图等,以帮助用户分析这类数据。
...
关于数据挖掘的高维数据矩阵,详情请参考 数据挖掘-高维数据矩阵矩阵。
+
...
【统计分析】统计分析增加RFM模型
...
背景介绍
RFM模型是衡量客户价值和客户创利能力的重要工具和手段。在众多的客户关系管理(CRM)的分析模式中,RFM模型是被广泛提到的。因此Smartbi在V9.6版本新增RFM节点,为更多的营销决策提供支持。
...
RFM节点通过对选择的特征列按照阈值进行二分(可按均值、指定值、中值),将客户数据划分为不同的客群。V9.6及之后的版本,左侧资源树统计分析节点下新增RFM节点。

详情参考
详情参考数据挖掘-RFM。
锚 |
---|
| V9.6_数据挖掘7数据挖掘10 |
---|
| V9.6_数据挖掘7数据挖掘10 |
---|
|
+
...
【评分卡分析】新增WOE编码节点
...
背景介绍
评分卡是将模型变量WOE编码方式离散化之后运用logistic回归模型进行的一种二分类变量的广义线性模型,也是信用风险评估和互联网金融领域常用的建模方法,比如信用卡风险评估、贷款发放等业务。除此之外,在其它领域也能够看到评分卡被用来作为分数评估,比如常见的客服质量打分、芝麻信用分打分等。
...
详情参考
关于WOE编码,详情请参考 数据挖掘-WOE编码。
...
...
+
...
【文本分析】文本分析增加词向量
...
背景介绍
在文本分析中,我们会先采用词频编码,根据词频信息进行简单主题聚类或文本分类。但是这种方法忽略了词序信息,也无法判断出两个词语之间的关系。而Word2vec词向量可以很好地解决这个问题,它的思路是通过训练,将每个词都映射到一个较短的词向量上来。所有的这些词向量就构成了向量空间,进而可以用普通的统计学的方法来研究词与词之间的关系。
...
在查看输出结果可以看到每个文本对应的词向量:

详情参考
详情参考数据挖掘-词向量。
...
...
+
...
【文本分析】文本分析增加主题分析
...
背景介绍
LDA可以用于从海量的文本中,根据统计模型,自动提取出由关键词组成的热门主题,让我们快速知道,这些大量无规则的文本中,主要讲述了什么内容。业务人员在商业分析的过程中也是离不开海量的文本数据,如果将基于LDA的主题分析应用在商业分析上,那么将会给业务人员带来极大的方便。
...
详情参考
详情参考数据挖掘-主题-词分布(LDA)。
...
...
+
...
【多分类算法】新增多层感知机算法节点
...
背景介绍
数据中潜藏的规律按照以往的聚类,回归等传统分析手段很难被发现,Smartbi Mining新增多层感知机算法节点。多层感知机(MLP,Multilayer Perceptron)也叫人工神经网络(ANN,Artificial Neural Network),通过神经网络中的节点和隐藏层对数据特征进行‘学习’,并以模型形式保存,用于分类、预测等使用场景。
...
关于数据挖掘的多层感知机,详情请参考 多层感知机 。
+
...
【关联规则】关联规则支持输出频繁项集及其支持度
...
背景介绍
Smartbi现有的FP-Growth算法输出的是模型根据关联规则推荐的预测结果,在实际应用中,也希望输出对算法挖掘出的关联规则及其支持度,通过这些信息能够发现隐藏在数据集中的有意义的联系。因此在V9.6版本,关联规则支持输出算法挖掘出的频繁项集以及对应的前项、后项。
...
关于FP-Growth算法,请参考 数据挖掘-FP-Growth。
锚 |
---|
| V9.6_数据挖掘8数据挖掘15 |
---|
| V9.6_数据挖掘8数据挖掘15 |
---|
|
...
^【数据挖掘】新增新建、编辑数据集入口
...
背景介绍
目前Smartbi的挖掘模块中,数据集节点只有选择数据集功能,为了方便用户可以在挖掘的实验界面中新建和编辑数据集,V9.6版本新增了新建、编辑数据集的入口。
...
关于数据源的数据集,详情请参考 数据集。
锚 |
---|
| V9.6_数据挖掘9数据挖掘16 |
---|
| V9.6_数据挖掘9数据挖掘16 |
---|
|
^
...
【输出】支持预览数据导出到本地
...
背景介绍
在挖掘实验过程中,对每一个执行完的节点资源我们都可以预览该节点的数据,如果可以将预览数据导出到本地,这将便于用户进行后续的处理或分析。
...
目前支持报表级别和组件级别的浏览工具栏控制,其中报表级别是针对整个仪表盘所有组件进行设置,而组件级别支持清单表、交叉表、图形、URL、Tab页几类组件单独设置。
^【自助仪表盘】实现热力图配色
...
背景介绍
V9.6版本的热力地图支持自定义配色设置,可以一改系统默认的柔和配色,实现冲击力较强的配色效果,满足用户的视觉需求。
...
自定义配色效果的实现方法:单击“标记”区的“颜色”,进行如下配色设置。

锚 |
---|
| V9.6_分析展现3分析展现4 |
---|
| V9.6_分析展现3分析展现4 |
---|
|
^【自助仪表盘】增强自助仪表盘TAB页组件功能
...
背景介绍
...
关于TAB页组件的功能,详情请参考 TAB页组件 。
锚 |
---|
| V9.6_分析展现4分析展现5 |
---|
| V9.6_分析展现4分析展现5 |
---|
|
^【自助仪表盘】优化自助仪表盘组件之间联动关系的设置
...
自助仪表盘中数据来源有两个及两个以上的数据集/业务主题,才能进行联动设置。
详情参考
关于联动设置的功能,详情请参考 联动设置 。
+【透视分析】支持度量组及度量组行列互换
...
背景介绍
...
详情参考
关于透视分析的度量维功能,详情请参考 度量区 。
^【分析报表】支持聚合字段作为过滤条件
...
背景介绍
在实际的报表开发中,我们经常会用到聚合字段(如:销售量的合计值、平均值等)对数据进行统计,对于统计结果我们也希望能够对聚合字段进行过滤(如:销售量>1000),因此V9.6版本增强了过滤条件功能:若输出字段中含有聚合字段,则支持在条件面板中对聚合字段设置过滤条件,从而对报表筛选中相应的数据结果。
...
- 只有输出字段含有聚合字段时,才支持该聚合字段的条件过滤。
- 拖到条件区中的字段,它的过滤条件(原始值过滤还是聚合值过滤),默认是取决于输出字段中的设置,比如:输出字段设置为合计值聚合,则拖拽之后的过滤条件为合计值过滤。此种情况只会出现在第一次的时候,之后两者不再有联动,即改变其中的输出字段的聚合设置,条件区中的字段过滤条件不会发生变化。
^【回写填报】优化权限配置操作
...
背景介绍
V9.6版本我们优化了回写填报的权限配置操作,可解决用户查看多条规则不方便,设置权限控制规则较为繁琐等问题,增强了用户操作的体验感和便利性。
...
右侧:点击查看所有规则、上一条规则、下一条规则按钮可查看和切换其他权限规则。
+【流程引擎】流程定义资源支持影响性/血统分析及操作日志
...
V9.6版本更新之后,针对大数据量的情况,Excel分析在刷新数据弹窗中新增了“关闭”按钮,支持取消查询。

锚 |
---|
| V9.6_Excel分析2 |
---|
| V9.6_Excel分析2 |
---|
|
+【Excel分析】Excel分析支持Excel图表
...
下面示例演示了在Excel分析中设置Excel图表:

以上设置在Web端的效果如下:

锚 |
---|
| V9.6_Excel分析3 |
---|
| V9.6_Excel分析3 |
---|
|
^【Excel分析】Web端显示功能优化
...
背景介绍
...
- Web端显示优化”设置效果对导出HTML、PNG、PDF、Word有效。
- 导出Excel默认导出所有sheet页,可以在客户端导出时设置导出的sheet页:

锚 |
---|
| V9.6_Excel分析4 |
---|
| V9.6_Excel分析4 |
---|
|
^【Excel分析】Web端导出Excel功能优化
...
Wiki 标记 |
---|
{html}<h1 >其他</h1>{html} |
+【公共】关系数据源数据权限支持在数据挖掘和自助ETL中生效
...
关于数据挖掘和自助ETL的数据权限设置,详情可参考 数据权限设置—数据挖掘和自助ETL。
...
...
+【系统函数】新增时间函数
...
背景介绍
之前产品内置的时间函数较少,业务人员通常需要写SQL语句来获取需要的时间函数,这种方式比较麻烦、实用性不高。V9.6及以后版本我们新增了一些简单易用的时间函数,可以满足业务人员需要:
...
3、即席查询、透视分析等资源的表头表尾中,不适用新增的时间函数。
^【系统选项】支持修改高速缓存库schema名称
...
背景介绍
当使用星环的高速缓存库做数据抽取时,初次抽取需要创建schema,所以对于没有创建schema权限的用户,V9.6版本更新了在初次抽取的时候默认创建一个schema,并且允许在系统选项中配置这个schema的名称。
...
V9.6版本,在“系统选项 > 公共设置”中新增设置项“高速缓存库schema名称”。

...
...
+【帮助指引】新增麦粉社区链接及其设置项
...
背景介绍
为了方便用户之间的交流互动,更好地提高用户的使用体验,并能够快速解决常见的产品使用问题,V9.6版本我们在系统中添加了麦粉社区的链接及其设置项。
...
2、考虑到部分用户不能使用网络的情况,在系统运维的 系统选项>高级设置 中,增加“是否显示麦粉社区链接入口”设置项,默认值为否。

...
...
<【流程引擎】审核的上下节点为同一个处理人时审批界面自动跳转
...
审批通过后下一个处理人仍是当前处理人则自动跳转下一个到审批界面。


...
...
^【无状态】产品支持无状态化
...
背景介绍
以前的版本,Smartbi默认使用Session存储当前会话中的状态信息,用户在web端或者插件端编辑报表没有进行保存时,如果有人重启了服务器,则用户会丢失刚才编辑的报表和操作。为了解决这类问题并提升用户体验感,V9.6及之后的版本产品支持无状态化,即无论服务器是否重启,用户可以一直进行操作不被打断。
...
2、在Smartbi 平台,新增会话缓存及“缓存的服务器地址”设置项,可配置Redis信息:

...
...
^【其他】代理服务器优化
...
背景介绍
通过部署Proxy作为Smartbi的代理服务器,可以间接访问Smartbi应用。考虑到原生开发、扩展维护的问题,V9.6版本对原来的代理服务进行重构。
...
- 项目整体采用springboot架构。
- Proxy模块支持按CPU、GC时间去分发,以保障整个系统的稳定性。
- 负载均衡采用平滑加权轮询算法,可以根据机器资源的使用进行调度。
...
...
^【ECharts】版本更新
...
背景介绍
产品中ECharts图形的版本统一升级到最新的V4.8.0版本。
锚 |
---|
| 安全 | 安全Smartbi V9.6版本安全 |
---|
| Smartbi V9.6版本安全 |
---|
|
Wiki 标记 |
---|
{html}<h1 >安全</h1>{html} |
...
...
^【安全】安全优化
...
背景介绍
V9.6版本在安全方面上做了如下优化:
...