...
...
锚V9.6_数据挖掘1 V9.6_数据挖掘1
V9.6_数据挖掘1 | |
V9.6_数据挖掘1 |
+【挖掘】新增多层感知机算法节点
...
背景介绍
数据中潜藏的规律按照以往的聚类,回归等传统分析手段很难被发现,Smartbi 数据中潜藏的规律按照以往的聚类,回归等传统分析手段很难被发现,Smartbi Mining新增多层感知机算法节点。多层感知机(MLP,Multilayer Perceptron)也叫人工神经网络(ANN,Artificial Neural Network),通过神经网络中的节点和隐藏层对数据特征进行‘学习’,并以模型形式保存,用于分类、预测等使用场景。
功能简介
多层感知机作为多分类算法节点与其他机器学习节点同样使用。
详情参考 多层感知机 。
锚V9.6_数据挖掘2 V9.6_数据挖掘2
V9.6_数据挖掘2 | |
V9.6_数据挖掘2 |
+【挖掘】增加下采样节点
...
背景介绍
在数据挖掘过程中,原始数据的不均匀分布会影响到数据特征抽取,或者模型学习数据特征的效果,出现错判的情况,我们会对数据进行重采样,对原始数据进行初步加工,对出现频次较高的数据按照一定规则抽取一定数据使得整体分布均匀。
功能简介
详情参考 V9.6及之后的版本新增下采样节点,可通过移除数据量较多类别的部分数据,使样本达到均衡。
详情参考
关于下采样,详情请参考 采样 。
锚V9.6_数据挖掘3 V9.6_数据挖掘3
V9.6_数据挖掘3 | |
V9.6_数据挖掘3 |
...
机器学习实验往往牵涉多个节点,各节点之间关系也较为复杂,更或者自定义的算法节点只有实验构建者才明白其中的含义,不便于实验的交流,故增加节点及实验备注功能。
功能简介
在画布空白处单击,选择‘添加备注’,会弹出富文本编辑框,可以添加对实验背景的介绍等内容。在画布空白处单击,选择“添加备注”,会弹出富文本编辑框,可以添加对实验背景的介绍等内容。
锚V9.6_数据挖掘4 V9.6_数据挖掘4
V9.6_数据挖掘4 | |
V9.6_数据挖掘4 |
...
- 拖动鼠标覆盖需要选择的节点,箭头滑过的矩形区域的节点都被选中;
- 按住Crtrl键,鼠标逐个单击需要复制的节点。
锚V9.6_数据挖掘5 V9.6_数据挖掘5
V9.6_数据挖掘5 | |
V9.6_数据挖掘5 |
...
- 准实时的数据处理:通过任务调度,持续消费kafka数据,提供给一系列数据处理节点进行处理,处理后的结果可以输出到目标数据库
- 模型自学习:通过任务调度,持续消费kafka数据进行模型自学习
- 模型批量预测:通过任务调度,定时消费kafka数据进行批量预测
这里展示当Kafka作为数据源时的模型自学习:
锚V9.6_数据挖掘6 V9.6_数据挖掘6
V9.6_数据挖掘6 | |
V9.6_数据挖掘6 |
...
无论是机器学习还是数据分析,总是要面对一大堆数据,总是免不了出现异常值的可能性,,异常值可以大幅度地改变数据分析和统计建模的结果,可能会造成回归、方差分析等统计模型假设的基本假设受影响等问题。
功能简介
V9.6及之后的版本新增异常值处理节点,可对存在异常值的原始数据进行异常值处理。
之后的版本新增异常值处理节点,可对存在异常值的原始数据进行异常值处理。
锚 | ||||
---|---|---|---|---|
|
+【挖掘】新增WOE编码节点
...
背景介绍
评分卡是将模型变量WOE编码方式离散化之后运用logistic回归模型进行的一种二分类变量的广义线性模型,也是信用风险评估和互联网金融领域常用的建模方法,比如信用卡风险评估、贷款发放等业务。除此之外,在其它领域也能够看到评分卡被用来作为分数评估,比如常见的客服质量打分、芝麻信用分打分等。
功能简介
WOE则是对原始自变量的一种编码形式,要对一个变量进行WOE编码,需要首先把这个变量进行分组处理,之后再计算出WOE值和IV值,根据这两个值来判断变量的预测强度。
...
V9.7版本在数据集节点的参数设置界面新增了新建、编辑数据集的入口。
锚 | ||||
---|---|---|---|---|
|
^【挖掘】支持预览数据导出到本地
...
背景介绍
在挖掘实验过程中,对每一个执行完的节点资源我们都可以预览该节点的数据,如果可以将预览数据导出到本地,这将便于用户进行后续的处理或分析。
功能简介
V9.7及之后的版本支持预览数据导出到本地,在“查看输出”窗口新增“下载”选项。
...
锚 | ||||
---|---|---|---|---|
|
^【挖掘】支持高维数据矩阵
...
背景介绍
高维数据是指具有多个属性的数据,它在我们日常生活中十分常见,比如各种类型的多媒体数据、文档词频数据等等。面对这些高维数据,我们该如何展示各种属性之间的联系和发现它们之间的规律。其实在过去的数十年里,可视化领域已经产生了大量优秀的技术,如散点图矩阵、平行坐标图等,以帮助用户分析这类数据。
功能简介
V9.7及之后的版本新增高维数据可视化节点,支持通过矩阵图和平行坐标图对高维数据进行可视化分析。
...
锚 | ||||
---|---|---|---|---|
|
+【自助仪表盘】自助仪表盘增加鹰眼功能
...
背景介绍
为了使业务人员操作更加灵活和方便,V9.7版本我们在自助仪表盘中增加了鹰眼功能,可以放大、缩小、一键自适应画布,使业务人员在制作图形较大的自助仪表盘时,能够更加灵活的编辑和查看。
功能简介
在自助仪表盘中,布局切换到自由布局后显示鹰眼功能,按钮从左到右为缩小、放大、高宽自适应,可以缩小、放大、一键自适应画布。
...
锚 | ||||
---|---|---|---|---|
|
+【自助仪表盘】浮动工具栏显示设置项
...
背景介绍
自助仪表盘在浏览状态下,鼠标移至页面顶端,会有浮动工具栏提供“刷新、另存、导出、收藏、分享、评论、点赞”等功能,部分组件(例如清单表、交叉表、图形、URL、Tab页等)也有“导出PNG、导出Excel、作为筛选器、最大化”的组件级别功能,但是并非所有场景下都需要这些功能,故提供设置入口,供用户自行设置是否显示浮动工具栏。
功能简介
浮动工具栏的设置分两种级别
- 报表级别
- 组件级别
注意事项
...
锚 | ||||
---|---|---|---|---|
|
^【自助仪表盘】增强自助仪表盘TAB页组件功能
...
背景介绍
在实际应用中,用户在编辑自助仪表盘的TAB页组件时,选择内部组件的工具栏操作比较麻烦。为了简化操作并提升用户体验感,V9.7及以后版本我们增强了自助仪表盘的TAB页组件功能。
功能简介
1、调整组件工具栏:
1)去掉内部组件工具栏,改为在页签或页签的下拉菜单中设置组件(不同的组件类型的设置项不同)。
...
^【自助仪表盘】优化自助仪表盘组件之间联动关系的设置
...
背景介绍
之前的版本,在自助仪表盘中筛选器或图表组件默认只能与同名字段自动关联,而在实际应用中,需要设置不同数据源的筛选器之间的关联。为了满足上述场景,V9.7及以后版本我们优化了自助仪表盘组件之间联动关系的设置。
功能简介
1、全局联动关系设置:
自主仪表盘工具栏中,增加 联动设置 按钮,可设置两个及两个以上的数据集/业务主题字段之间的联动关系。
...
锚 | ||||
---|---|---|---|---|
|
^
...
【Excel分析】Excel分析优化大数据量情况
...
背景介绍
用户在Excel分析中使用“刷新数据”功能,需要等数据刷新完成才可以进行下一步操作;如果碰到大数据量的查询而且也没勾选“默认加载100行”时,系统需要一些时间进行反馈。因此V9我们在使用Excel分析的过程中,如果碰到加载的原始数据有几十万或者上百万这种大数据量,报表的查询、导出、Web端显示等等操作会出现等待时间过长的情况。因此在这次V9.6版本更新后,Excel分析新增了“取消查询”功能,方便用户在不想继续等待数据刷新时使用。6版本更新中,Excel分析新增了多个优化大数据量的功能。
功能简介
V9.6版本更新后,Excel分析在刷新数据弹窗中新增了“关闭”按钮,支持取消查询。6版本更新之后,针对大数据量情况Excel分析做了以下几种功能优化:
- Excel分析在刷新数据弹窗中新增了“关闭”按钮,支持取消查询。
- 大数据量时,Excel分析报表的导出支持设置导出sheet页和是否导出公式。
- Excel分析工具栏新增了“Web端显示优化”按钮,支持隐藏大数据量的Sheet页,优化Web端性能。
锚 | ||||
---|---|---|---|---|
|
^
...
【Excel分析】支持Excel图表
...
背景介绍
V9.6版本更新中,Excel分析工具栏新增了两个功能分别是“Excel云图表”和“Web端优化显示”。
支持Excel云图表是因为Excel本身自带的图形可以做出很多漂亮的图形,我们希望在Excel分析中也能使用Excel云图表。而新增“Web端优化显示”功能是因为展示Excel分析到Web端时,如果是大数据量的情况下会占用太多缓存,需要优化Web端性能。
Excel本身自带的图形可以做出很多漂亮的图形,我们希望在Excel分析中也能使用Excel图表,同时还可以将制作完的图表保存为模板,方便用户对优质的模板进行共享和使用。
功能简介
V9,.6版本更新之后,Excel分析工具栏新增“云图表”模块,支持Excel图形的使用以及保存为模板进行共享。
还新增了“Web端显示优化”功能,支持隐藏大数据量的sheet页,优化Web端性能。
锚 | V9.6_Excel分析3 | V9.6_Excel分析3 |
---|
^【Excel分析】导出Excel支持导出公式
背景介绍
功能简介
锚 | |||
---|---|---|---|
|
...
在系统配置页面中,新增会话缓存及“缓存的服务器地址”设置项。
注意事项
缓存的服务器为Redis。当多个Smartbi连接同一个服务器时,需要配置服务器的时间相同(默认相差5分钟)。
^
...
【无状态】产品支持无状态化
...
背景介绍
Smartbi默认是使用Session存储当前会话中的状态信息,在服务器宕机或使用Nginx等轮询分发的情况下不能正常使用。因此需要修改为支持共享会话的功能,可以使得服务器重启或切换后仍然可以正常使用。Smartbi默认是使用Session存储当前会话中的状态信息,在服务器宕机或使用Nginx等轮询分发的情况下不能正常使用。为了解决这类问题并提升产品性能和拓展性,我们修改了为支持共享会话的功能,可以使得服务器重启或切换后仍然可以正常使用。
功能简介
目前使用Redis作为缓存服务器,会话信息全部保存到Redis中。目前使用Redis作为缓存服务器,会话信息全部保存到Redis中。这样就使得服务器在切换服务器或重启后可以从Redis中获取原来的状态信息,无需用户再次登录,当前已经打开的报表仍然可以继续刷新。
这样就使得服务器在切换服务器或重启后可以从Redis中获取原来的状态信息,无需用户再次登录,当前已经打开的报表仍然可以继续刷新。操作步骤:
功能如下:1、在服务器上安装Redis。
1、在服务器上装Redis。
2、在Smartbi 平台配置Redis信息。
3、目前服务器保存状态主要分为两种方式:
...