页面树结构
转至元数据结尾
转至元数据起始

正在查看旧版本。 查看 当前版本.

与当前比较 查看页面历史

« 前一个 版本 2 下一个 »

新特性列表中:+表示新增 ;^表示增强;<表示变更


数据准备




+【高速缓存库】支持Gauss200数据库


背景介绍

Gauss200是一款具备分析及混合负载能力的分布式数据库,具有低成本、高性能、高可靠和支持海量数据存储等优点,支持行存储与列存储,提供PB(Petabyte)级数据分析能力、多模分析能力和实时处理能力。

随着华为Gauss200数据库被越来越多用户使用,V9.7及之后版本Smartbi支持连接Gauss100数据库。

功能简介

V9.7及之后版本,您可以借助Smartbi连接华为Gauss200数据库进行数据分析。



^数据集优化SQL语句编辑器


背景介绍

V9.7及之后版本,我们优化了SQL数据集和原生SQL数据集中的SQL语句编辑器,使业务人员在编写SQL语句时,能够更加规范、易用、美观。

功能简介

对SQL语句编辑器的优化如下:

  • 支持关键字高亮显示;
  • 支持关键字输入提示;
  • 支持代码折叠;
  • 兼容之前编辑器中的对象展示模式;
  • 增加辅助工具:如查找(Ctrl+H)、替换(Ctrl+F)等;
  • 增加根据参数值快速实现SQL语句的拼接操作(IF函数)。

示例1:显示关键字高亮显示和输入提示,如图:

示例2:增加辅助工具如图:



^【加载文件数据】优化加载文件数据导入设置表头功能


背景介绍

为了提升用户体验感,V9.7版本我们优化了加载文件数据导入设置表头功能。

功能简介

在加载文件数据中,取消单击选中行作为表头的功能,改为点击 设为表头 按钮,设置任意行为表头。

改动的地方:数据源中的加载文件数据、自助数据集中的加载文件数据、插件端中的导入文件。




 

数据挖掘



+【挖掘】新增多层感知机算法节点


背景介绍

 数据中潜藏的规律按照以往的聚类,回归等传统分析手段很难被发现,Smartbi Mining新增多层感知机算法节点。多层感知机(MLP,Multilayer Perceptron)也叫人工神经网络(ANN,Artificial Neural Network),通过神经网络中的节点和隐藏层对数据特征进行‘学习’,并以模型形式保存,用于分类、预测等使用场景。

 

功能简介

多层感知机作为多分类算法节点与其他机器学习节点同样使用。

详情参考  多层感知机 



+【挖掘】增加下采样节点


背景介绍

在数据挖掘过程中,原始数据的不均匀分布会影响到数据特征抽取,或者模型学习数据特征的效果,出现错判的情况,我们会对数据进行重采样,对原始数据进行初步加工,对出现频次较高的数据按照一定规则抽取一定数据使得整体分布均匀。


功能简介

详情参考  采样 。



+【挖掘】增加节点备注功能


背景介绍

机器学习实验往往牵涉多个节点,各节点之间关系也较为复杂,更或者自定义的算法节点只有实验构建者才明白其中的含义,不便于实验的交流,故增加节点及实验备注功能。

功能简介

在画布空白处单击,选择‘添加备注’,会弹出富文本编辑框,可以添加对实验背景的介绍等内容。



+【挖掘】支持节点复制选项


背景介绍

实验构建过程中,可能出现节点复用的情况,由于涉及到参数的配置问题,所以增加节点的复制功能,将大大提高实验的构建速度。

功能简介

 选中需要复制的节点,单击右键,出现‘复制’,也可以同时选中多个节点:

  • 拖动鼠标覆盖需要选择的节点,箭头滑过的矩形区域的节点都被选中;
  • 按住Crtrl键,鼠标逐个单击需要复制的节点。



+【挖掘】新增kafka数据源节点


背景介绍

kafka是一种高吞吐量的分布式发布订阅消息系统,经常用于实时流数据架构,提供实时分析。它具有高吞吐量、低延迟,每秒可以处理几万条消息,延迟最低只有几毫秒,以及可扩展性、持久性、可靠性、容错性、高并发等优点。因此,SmartV9.7版本新增了Kafka数据源。

功能简介

Kafka作为数据源,有以上三种使用场景:

  • 准实时的数据处理:通过任务调度,持续消费kafka数据,提供给一系列数据处理节点进行处理,处理后的结果可以输出到目标数据库
  • 模型自学习:通过任务调度,持续消费kafka数据进行模型自学习
  • 模型批量预测:通过任务调度,定时消费kafka数据进行批量预测

这里展示当Kafka作为数据源时的模型自学习:

 

 


+【挖掘】新增异常值处理节点


背景介绍

无论是机器学习还是数据分析,总是要面对一大堆数据,总是免不了出现异常值的可能性,,异常值可以大幅度地改变数据分析和统计建模的结果,可能会造成回归、方差分析等统计模型假设的基本假设受影响等问题。

功能简介

之后的版本新增异常值处理节点,可对存在异常值的原始数据进行异常值处理。



+【挖掘】新增WOE编码节点


背景介绍

评分卡是将模型变量WOE编码方式离散化之后运用logistic回归模型进行的一种二分类变量的广义线性模型,也是信用风险评估和互联网金融领域常用的建模方法,比如信用卡风险评估、贷款发放等业务。除此之外,在其它领域也能够看到评分卡被用来作为分数评估,比如常见的客服质量打分、芝麻信用分打分等。

功能简介

WOE则是对原始自变量的一种编码形式,要对一个变量进行WOE编码,需要首先把这个变量进行分组处理,之后再计算出WOE值和IV值,根据这两个值来判断变量的预测强度。

因此V9.7版本新增WOE编码节点,可以对字段分箱后计算WOE值和IV值。

在查看分析结果中记录了变量的IV值,分箱区间及每个区间的WOE值。

详情参考

关于WOE编码,详情请参考 数据挖掘-WOE编码


^【挖掘】新增新建、编辑数据集入口


背景介绍

目前Smartbi的挖掘模块中,数据集节点只有选择数据集功能,为了方便用户可以在挖掘的实验界面中新建和编辑数据集,V9.7版本新增了新建、编辑数据集的入口。

功能简介

V9.7版本在数据集节点的参数设置界面新增了新建、编辑数据集的入口。

 


^【挖掘】支持预览数据导出到本地


背景介绍

在挖掘实验过程中,对每一个执行完的节点资源我们都可以预览该节点的数据,如果可以将预览数据导出到本地,这将便于用户进行后续的处理或分析。

功能简介

V9.7及之后的版本支持预览数据导出到本地,在“查看输出”窗口新增“下载”选项。

注意事项

此处会把预览的数据以csv文件的方式下载到本地,不会下载全量数据,数据量最多100条。



^【挖掘】支持高维数据矩阵


背景介绍

高维数据是指具有多个属性的数据,它在我们日常生活中十分常见,比如各种类型的多媒体数据、文档词频数据等等。面对这些高维数据,我们该如何展示各种属性之间的联系和发现它们之间的规律。其实在过去的数十年里,可视化领域已经产生了大量优秀的技术,如散点图矩阵、平行坐标图等,以帮助用户分析这类数据。

功能简介

V9.7及之后的版本新增高维数据可视化节点,支持通过矩阵图和平行坐标图对高维数据进行可视化分析。

矩阵图效果:

平行坐标图效果:


分析展现


+【自助仪表盘自助仪表盘增加鹰眼功能


背景介绍

为了使业务人员操作更加灵活和方便,V9.7版本我们在自助仪表盘中增加了鹰眼功能,可以放大、缩小、一键自适应画布,使业务人员在制作图形较大的自助仪表盘时,能够更加灵活的编辑和查看。

功能简介

在自助仪表盘中,布局切换到自由布局后显示鹰眼功能,按钮从左到右为缩小、放大、高宽自适应,可以缩小、放大、一键自适应画布。


+【自助仪表盘】浮动工具栏显示设置项


背景介绍

自助仪表盘在浏览状态下,鼠标移至页面顶端,会有浮动工具栏提供“刷新、另存、导出、收藏、分享、评论、点赞”等功能,部分组件(例如清单表、交叉表、图形、URL、Tab页等)也有“导出PNG、导出Excel、作为筛选器、最大化”的组件级别功能,但是并非所有场景下都需要这些功能,故提供设置入口,供用户自行设置是否显示浮动工具栏。

功能简介

浮动工具栏的设置分两种级别

  • 报表级别

  • 组件级别

注意事项

目前支持报表级别和组件级别的浏览工具栏控制,其中报表级别是针对整个仪表盘所有组件进行设置,而组件级别支持清单表、交叉表、图形、URL、Tab页几类组件单独设置。




^【自助仪表盘增强自助仪表盘TAB页组件功能


背景介绍

在实际应用中,用户在编辑自助仪表盘的TAB页组件时,选择内部组件的工具栏操作比较麻烦。为了简化操作并提升用户体验感,V9.7及以后版本我们增强了自助仪表盘的TAB页组件功能。

功能简介

1、调整组件工具栏:

1)去掉内部组件工具栏,改为在页签的下拉菜单中设置组件(不同的组件类型的设置项不同)。

2)在组件设置项中增加“移除组件”设置项,支持删除组件。

3)当页签内有组件时,在页签位置中右键,则显示TAB组件的组件设置项;当页签内没有组件时则不显示。

4)URL组件支持右键弹出组件设置项。

2、新增“页签顺序”设置项:

  • 移到最左:将选中的页签移动到最左侧。
  • 移到最左:将选中的页签移动到最右侧
  • 高级设置:在高级设置窗口可自由调整页签顺序。

3、将添加页签按钮的位置调整到了页签的右侧。



^【自助仪表盘】优化自助仪表盘组件之间联动关系的设置


背景介绍

之前的版本,在自助仪表盘中筛选器或图表组件默认只能与同名字段自动关联,而在实际应用中,需要设置不同数据源的筛选器之间的关联。为了满足上述场景,V9.7及以后版本我们优化了自助仪表盘组件之间联动关系的设置。

功能简介

1、全局联动关系设置:

自主仪表盘工具栏中,增加 联动设置 按钮,可设置两个及两个以上的数据集/业务主题字段之间的联动关系。

支持两种方式设置全局联动关系:

  • 自动:自动匹配选择数据集所有的源字段和目标字段;
  • 自定义:手动添加数据集的源字段、操作符、目标字段。
  • 影响报表和应用于组件:
  • 增加“相关数据集所有组件”、“此数据集所有组件”、“自定义”选项;
  • 删除“高级设置”、“合并参数”选项。

注意事项

自助仪表盘中数据来源有两个及两个以上的数据集/业务主题,才能进行联动设置。


Excel分析




^【Excel分析】Excel分析插件端允许取消查询


背景介绍

华为在使用Excel分析的过程中,经常是查询较大的数据量,系统需要一些时间进行反馈;当用户没有勾选“默认加载100行”时,点击刷新数据后,就只能等待刷新完成,不能进行其他操作;特别是当用户比较紧急做其他操作时,无法终止刷新操作。为了解决这个问题在插件端增加一个“取消查询”的功能,允许手动取消刷新数据;

功能简介

excel分析中,在刷新数据的弹窗中添加关闭按钮,点击关闭,则终止刷新数据

功能如下:

  • 点击关闭按钮之后,报表状态保持为当前刷新的进度或清空数据
  • 刷新数据过程中有数据查询、数据处理、数据填充、调整表格区域等环节,在任意环节中点击关闭按钮,都能实现终止。
  • 当鼠标浮在上方时,关闭按钮显示高亮,增加鼠标提示“取消查询”
  • 尽量避免出现卡顿的效果。



其他



+【系统函数】新增时间函数


背景介绍

之前产品内置的时间函数较少,业务人员通常需要写SQL语句来获取需要的时间函数,这种方式比较麻烦、实用性不高。V9.7及以后版本我们新增了一些简单易用的时间函数,可以满足业务人员需要:

  • 不需要写SQL语句,可以直接使用日期函数对象;
  • 灵活性高,可满足不同场景的应用。

功能简介

1、产品的内置函数中新增了19个时间函数,如图:

2、在定义中改变函数设置方式:新增编辑框可手动添加参数值或拖拽函数;并增加预览功能。

注意事项

1、在参数定义中,不支持写SQL语句获取时间函数。

2、在 系统选项>电子表格>水印 中, “内容”设置项不支持使用新增的时间函数。

3、即席查询、透视分析等资源的表头表尾中,不适用新增的时间函数。

+【流程引擎】审批通过后下一个处理人还是当前审批人的话自动进入到审批界面


背景介绍

V9.7之前的版本,下一个处理人是当前审批人员时,需要该审核人员重新进入到审批界面才会显示下一个处理信息,为了简化审批操作,我们重新处理了审批逻辑,实现了若下一个处理人是当前审批人员自动进入到审批界面,不需要切换。

功能简介

待补充



^【无状态】产品支持无状态化


背景介绍

以前的版本,用户在web端或者插件端编辑报表没有进行保存时,如果有人重启了服务器,则用户会丢失刚才编辑的报表和操作。为了解决这类问题并提升产品性能和拓展性,我们在V9.7及之后的版本产品支持无状态化,即无论服务器是否重启,用户可以一直编辑报表和执行操作。

功能简介

在系统配置页面中,新增会话缓存及“缓存的服务器地址”设置项。

注意事项

缓存的服务器为Redis。当多个Smartbi连接同一个服务器时,需要配置服务器的时间相同(默认相差5分钟)。


^【无状态】产品彻底无状态化(二期)


背景介绍

Smartbi默认是使用Session存储当前会话中的状态信息,在服务器宕机或使用Nginx等轮询分发的情况下不能正常使用。因此需要修改为支持共享会话的功能,可以使得服务器重启或切换后仍然可以正常使用。

功能简介

目前使用Redis作为缓存服务器,会话信息全部保存到Redis中。

这样就使得服务器在切换服务器或重启后可以从Redis中获取原来的状态信息,无需用户再次登录,当前已经打开的报表仍然可以继续刷新。

功能如下:

1、在服务器上装Redis。

2、在Smartbi 平台配置Redis信息。

3、目前服务器保存状态主要分为两种方式:

  • 实现io.Serializable接口

这个方式可以适合于对象属性不太多,并且不会出现包含引用更大范围对象的情况。引用更大范围的对象是指例如一个Table对象包含了一个dataSource属性,而这个DataSource中又包含了List<Table>,那么当实现了Serializable后,导致序列化的过程中会将DataSource、List<Table>也写入Redis中,从而产生效率低、更容易有异常的问题。

  • 实现redis.RedisSerializable接口

此方式是较灵活的实现方式,可以解决对象本身结构复杂的情况。但是此方案最大问题在于实现比较复杂,需要非常清楚了解对象恢复。并且在后续功能添加时,有非常大机率忽视。从而导致Redis缓存不能完整恢复所有信息的情况。

^【ECharts】版本更新


背景介绍

产品中ECharts的版本统一升级到V4.8.0版本。


  • 无标签