9.2版本于 年 月发布,新特性列表中:2版本于2020年2月发布,新特性列表中:+表示新增 ;^表示增强;<表示变更。^表示增强。
53313542 |
---|
53313542 |
---|
53313542 |
---|
53313542 |
---|
锚 | ||||
---|---|---|---|---|
|
Wiki 标记 |
---|
{html}<h1 >数据连接</h1>{html} |
锚 V9_数据连接1 V9_数据连接1
V9_数据连接1 | |
V9_数据连接1 |
^【数据连接】字段别名重名时自动添加序号
...
背景介绍
...
技术人员在数据库中设计表字段时,通常在注释中备注字段的业务含义,系统为了简化用户的库表连接操作,自动将这些注释作为字段别名加载,因此为了解决库表注释相同而导致字段别名重名的问题,系统在新版本中实现:自动为同名的字段别名添加上数字序列号后缀以示区别。
...
功能简介
^【Excel导入】支持Excel导入追加数据
背景介绍: 当通过Excel文件导入数据后,有新的数据,可以通过“添加到已有表“的功能实现数据的追加。
功能简介:
操作入口:在“加载文件数据“窗口中选择 添加到已有表,如下图:
注意事项:
1、增量字段的数据类型必须和原表字段保持一致。
详情参考: “添加到已有表”功能详情请参见
...
^【Excel导入】Excel加载数据表删除时直接删除物理表
背景介绍: 通过Excel加载数据功能导入系统中的数据表,删除系统其连接节点时,对应数据库中的物理表将同时被删除,这样可以保证数据库中减少冗余数据表。
功能简介:
Excel加载数据表的删除入口:数据连接界面资源树下找到相应节点,在其更多操作菜单中选择 删除 按钮即可。
如下图,一张Excel加载的数据表“销售数据“,我们通过更多菜单 删除 按钮删除。
用数据库前端工具登录到该高速缓存库中查看,发现其对应的物理表也被删除了。
删除前 | 删除后 |
---|---|
注意事项:
详情参考:
V9.2及之后版本添加库表,该库表下出现字段别名重名时,自动在别名后面添加序号后缀,命名为:别名1、别名2。
如下图,对于两个相同字段“column1”,系统自动在第二个字段别名后面添加序号“1”,全别名为“column11”。
锚 V9_加载文件数据1 V9_加载文件数据1
V9_加载文件数据1 | |
V9_加载文件数据1 |
^【加载文件数据】加载文件数据功能增强及优化
...
背景介绍
V9.2版本对加载文件数据功能进行了增强和优化处理,主要体现在如下两点:
- 实现在原加载的数据表中追加新的数据。
- 优化了对加载日期字段数据的兼容处理:不需要限制用户在导入文件中使用的日期字段格式,系统自动兼容所有日期字段格式。
功能演示
1) 数据准备:主要有如下两个。
原加载到系统中的数据表数据 | |
需要追加的数据表 | 在原有数据表基础上追加一条“西北“的销售数据,如下红框标识: |
2) 通过“添加到已有表“功能追加数据
3) 效果如下:
追加到数据表后的数据预览效果 | |
“日期“字段在导入时,通过设置的“日期” 或“日期时间”数据类型实现日期兼容。 |
注意事项
- 增量数据字段的数据类型必须和原表字段保持一致。
- 字段的数据类型仅支持在“创建数据表”时设置。
详情参考
加载文件数据功能详情请参见 文件。
锚 | ||||
---|---|---|---|---|
|
Wiki 标记 |
---|
{html}<h1 >数据准备</h1>{html} |
...
锚 | 自助ETL | 自助ETL |
---|
^【自助ETL】行列转换
背景介绍: 数据处理实现“行转列”和“列转行”两个算法。
功能简介:
1、 操作入口:自助ETL和数据挖掘的实验管理的入口都在“数据预处理“目录下:
2、 使用方法:将“行转列”、“列转行“节点拖拽到画布区,在“参数面板”中设置即可。
注意事项:
详情参考: “行转列”和“列转行”节点详情请参见
|
^【数据预处理】行列转换
...
背景介绍
数据分析初期,我们经常会从不同角度去解读数据,为了简化用户数据预处理过程中的操作步骤,V9.2及之后版本增加“行转列”和“列转行”两个功能。
功能简介
下图分别演示了“行转列”和“列转行”功能的效果:
行转列 | |
列转行 |
详情参考
“列转行”功能详情请参见 列转行。
锚 | ||||
---|---|---|---|---|
|
Wiki 标记 |
---|
{html}<h1 >数据挖掘</h1>{html} |
锚 |
---|
...
...
+【挖掘引擎】服务引擎支持负载均衡、高并发(支持dag中包含有python节点)
背景介绍: 基于满足通过Python语言编程实现在客户端开发数据处理、数据分析方法,增加Python节点用于自定义开发。
功能简介:
1、 操作入口:自助ETL和数据挖掘的实验管理的入口分别如下:
自助ETL | 实验管理 |
---|---|
4、 使用方法:将“PYTHON脚本”节点拖拽到画布区,在“参数面板”中单击 PYTHON脚本 按钮,弹出文本框,用Python语言定义即可。
详情参考: PYTHON脚本节点的详细内容请参见
...
+【广州穗能通项目求】分列节点添加自定义分隔符
背景介绍: 在项目实施过程中,对某些数据需要处理拆分处理,例如将类似数据“2018/2019/2020”,以“/”作为分隔符,需要将其拆分成3列。因此产品实现“分列”的数据预处理方法,确定分隔符后,将特定列的内容进行拆分。
功能简介:
1、 操作入口:自助ETL和数据挖掘的实验管理中,入口都在“数据预处理“目录下:
2、使用方法:将“分列”节点拖拽到画布区,在“参数面板”中选择拆分的列,选择或输入分隔符。
注意事项:
支持所有分隔符,目前可供选择的分隔符有:逗号、分号、空格和tab;若分隔符不在选择项中,直接在框中输入分隔符即可。
详情参考: “分列”节点详情请参见
...
+【挖掘】数据挖掘支持多语言
背景介绍: 自助ETL和数据挖掘支持中文简体、中文繁体和英文三种语言版本。
功能简介:
实现方法:在URL地址中添加“?I=ch“、“?I=tw“、“?I=en“。
示例及效果:英文版本的示例及效果如下:
注意事项:
详情参考:
...
+【挖掘】关系数据源节点,实现支持PostgreSQL数据源
背景介绍: 自助ETL和实验管理模块增加对关系数据源节点中PostgreSQL数据源的支持。
功能简介:
用户在数据连接模块中定义好PostgreSQL数据源的连接:
在实验管理定制界面中,拖拽“关系数据源”节点到画布,在属性中选择以上连接的PostgreSQL数据源即可。
注意事项:
详情参考:
...
+【挖掘】特征工程支持”自动特征“组合算法
背景介绍: 随着派生度的增加产生的特征数呈指数形式增加,需要从中根据产生特征数配置选出重要性最高的钱N项产生特征,因此基于beam search搜索策略开发相应算法,即“自动特征组合”算法。
功能简介:
1、 操作入口:
2、使用方法:将“自动特征组合”节点拖拽到画布区,在“参数面板”中进行相关设置。
注意事项:
详情参考:“自助特征组合”节点详情请参见
锚 | |||||
---|---|---|---|---|---|
|
+【特征工程】特征工程支持“自动特征组合”算法
...
背景介绍
随着数据挖掘地不断深入,我们会在现有特征基础上生成新的特征,构成特征组合。为了满足不同用户需要,产品提供“全局特征组合”和“搜索特征组合”。其中,“全局特征组合”对全部特征做笛卡尔积;“搜索特征组合”是为了解决特征的数量呈指数形式增加,存在大量冗余特征等问题,实现以最少的代价获得最优解。
功能简介
“自动特征组合”节点拖拽到画布区,在“参数面板”中进行相关设置。
详情参考
详情见 自动特征组合。
锚 V9_数据预处理2 V9_数据预处理2
V9_数据预处理2 | |
V9_数据预处理2 |
+【数据预处理】分列节点添加自定义分隔符
...
背景介绍
日常数据存储中,经常会遇到以特殊符号作为分隔符存储的数据,而在实际做实验的过程中,需要对这部分数据进行分隔处理。因此V9.2及之后版本支持列节点“分列”进行分隔符处理。
功能简介
将“分列”节点拖拽到画布区,在“参数面板”中选择拆分的列,选择或输入分隔符。
注意事项
支持所有分隔符,可供下拉框选择的常见分隔符有:逗号、分号、空格和tab;若分隔符不在选择项中,直接在框中输入分隔符即可。
锚 | ||||
---|---|---|---|---|
|
Wiki 标记 |
---|
{html}<h1 >自助仪表盘<>分析展现</h1>{html} |
...
设置说明:
通过URL进行跳转规则设置的界面如下:
该界面各设置项说明如下:
设置项 | 说明 |
---|---|
类型 |
|
跳转字段 | 用于设置当前资源组件中触发跳转的字段。 |
跳转到 | 用于通过URL设置跳转的第三方页面。 |
标题 | 用于设置“浮动框”或“新Tab页”显示跳转目标时的窗口或页面标题。 |
请求类型 | 用于设置传递参数的方式:POST或GET。 若参数值中含有中文,建议使用POSST方式。 |
打开方式 |
|
参数名称 | 用于设置将当前资源中的参数的传值。支持如下两种传值:
|
应用示例:
示例说明:当前汇报系统中,我们看到了车企品牌销售的汇总情况,我们想通过这些汇总信息跳转到第三方页面中查询某些其它的相关信息。
实现步骤:
1、 定义好自助仪表盘。
2、 在自助仪表盘的编辑界面中通过 跳转规则 菜单进行如下 设置:
3、 保存当前自助仪表盘后,单击车企品牌数据表中任意字段,以浮动框的方式 显示第三方页面。浏览效果如下:
...
+【自助数据集】自助数据集支持参数
背景介绍:
- 自助数据集支持参数的情况有如下几种:
- 数据来源于自带参数的HANA数据源;
- 数据来源于带参数的数据集(可视化数据集、原生SQL数据集、Java数据集、存储过程数据集);
- 数据来源于带参数的即席查询和透视分析。
本节我们详细演示自助数据集来源于带参数的数据集和带参数的即席查询、透视分析的情景。
1、 数据来源于带参数的数据集
1)在自助数据集的设置界面中选择带参数的可视化数据集:
2) 此时显示 设置参数 设置项,用于进行参数设置后预览数据:
3) 设置好参数值后,保存自助数据集,该自助数据集中的参数在自助仪表盘中的应用如下:
2、 数据来源于带参数的即席查询和透视分析
1) 在自助数据集的设置界面中选择带参数的即席查询和透视分析:
2) 此时显示 设置参数 设置项,用于进行参数设置后预览数据:
3) 设置好参数值后,保存自助数据集,,该自助数据集中的参数在自助仪表盘中的应用如下:
注意事项:
- 目前自助数据集除多维数据集之外,其它带参数的数据集都支持。
- 参数是否含有默认值对自助数据集抽取的影响:
- 参数没有默认值,自助数据集进行抽取,则抽取全部数据。
- 参数含有默认值,自助数据集进行抽取,则只会抽取参数默认值相关的数据。
3.自助数据集目前不支持的参数控件类型有:下拉树、频度日期控件、树对话框。
4.自助仪表盘支持来源不同数据集的参数合并,合并入口:“更多”菜单中的 合并参数,如下图所示:
5.自助仪表盘中已拖拽到设计面板中的参数呈置灰状态,否则呈置黑状态。
...
Wiki 标记 |
---|
{html}<h1 >透视分析</h1>{html} |
...
<【透视分析】隐藏列区和行区的互换按钮
背景介绍: 行列互换按钮最初的实现是基于盒马项目的需求,现在该项目不需要该功能了,我们将该按钮进行了隐藏处理。
功能简介:
通过代码在后台将行区和列区按钮进行了互换,效果如下图所示:
注意事项:
详情参考:
...
锚
...
^【仪表盘】仪表盘主题改成下拉框的方式
背景介绍: 优化仪表盘主题选择控件,新版本修改成下拉框式选择,满足了美观和方便选择的要求。
功能简介:
仪表盘主题下拉框式效果如下:
注意事项:
详情参考:
...
^【子任务】自助仪表盘查看模式下增加工具栏
背景介绍: 新版本增强了查看模式下的自助仪表盘功用,它不仅仅用于浏览数据行情,还支持用户可以将其下载或者导出。
功能简介:
查看模式下默认隐藏工具栏,用户通过单击隐藏图标(下图红框标识)显示当前自助仪表盘可供用户操作的按钮:
单击该隐藏图标,显示工具栏,再次单击隐藏工具栏。工具栏显示效果如下:
该图标从左至右依次为:刷新、另存、下载。
注意事项:
1、 查看模式下的工具栏,默认所有用户拥有“刷新”按钮。
2、 “另存”和“下载”按钮权限需要在用户管理模块中找到相应角色,在其操作权限中勾选权限设置。
详情参考:
...
+【portlet拖动】支持拖动资源的任何位置都可以移动
背景介绍: 自助仪表盘定制时,实现了拖动资源任意位置都可以移动,使定制工作更加灵活便捷。
功能简介:
定制自助仪表盘实现布局处理时,将鼠标放置在资源上拖动即可,鼠标状态是呈可拖动状态。如下动图示例演示的是自由布局模式下的资源拖动情况:
注意事项:
详情参考:
...
+【自由布局】选中组件左上角的点显示标尺线
背景介绍: 自助仪表盘在自由布局模式下设计资源组件时,可以通过标尺线来保证资源的完美对齐效果。
功能简介:
自由布局模式下定制自助仪表盘,将鼠标放在资源组件上拖动,左上角即显示标尺,通过标尺可以轻松保证资源组件的对齐效果。。
标尺即下图红框所标识处:
注意事项:
1、标尺显示需要满足的条件有:
- 当前自助仪表盘处于自由布局模式且编辑状态下。
- 设备必须选中“
2、TAB组件中的资源不支持标尺功能。
详情参考:
...
+【自助仪表盘】支持URL交互传参
背景介绍:自助仪表盘支持各资源组件通过URL跳转到第三方页面并传参,实现Smartbi与外部系统的交互。
功能简介:
1、设置入口:
在自助仪表盘的编辑界面,找到需要设置跳转的资源组件,在“更多菜单”中选择 设置跳转规则,如下图所示:
V9_分析展现1 V9_分析展现1
V9_分析展现1 | |
V9_分析展现1 |
+【分析展现】报表制作过程的优化及统一
...
背景介绍
V9.2版本对报表制作过程进行了优化和统一,主要体现在如下三点:
- 从布局统一的角度,将即席查询的“字段选择”Tab和“条件选择”Tab合并在同一资源树下,与透视分析的布局保持一致。
- 对报表刷新的处理逻辑重新进行了整理和规划,优化了报表字段变更的“立即刷新”功能。
- 增加了表关系的验证。避免了在基于数据源或业务主题创建查询时,如果没有设置表关系,则进行笛卡尔积查询,这种查询既没有实际意义,也会导致系统性能问题。
功能演示
注意事项
“立即刷新”区别于“浏览自动刷新”功能:
- 浏览报表自动刷新:控制的是首次打开报表是否自动刷新。
- 立即刷新:控制的是编辑报表时是否立即自动刷新。
详情参考
锚 | ||||
---|---|---|---|---|
|
+【自助仪表盘】主题切换和组件选择优化
...
背景介绍
V9.2版本在自助仪表盘的主题切换和组件选择上进行了优化处理:
- 为了减少展示空间,提高空间利用率,优化了仪表盘主题选择控件,新版本修改成下拉框式选择。
- 支持拖动资源到任意位置以及自由布局模式下通过资源组件标尺线进行对齐。
功能简介
注意事项
1、 标尺线显示需要满足的条件有:
1) 当前自助仪表盘处于自由布局模式且编辑状态下;
2) 设备为“电脑/平板”。
2、 TAB组件中的资源不支持标尺线功能。
锚 | ||||
---|---|---|---|---|
|
^【分析报告】Word和PPT支持搜索资源
...
背景介绍
为了方便用户在Word和PPT中能快速搜索出需要的资源,新版本在Word和PPT增加了“搜索”功能。
功能简介
在Word和PPT的资源面板和“打开文档”界面增加搜索框,可输入资源的ID、全名、别名直接进行搜索或者输入关键词进行模糊搜索。
Wiki 标记 |
---|
{html}<h1 >即席查询<>性能</h1>{html} |
...
...
Wiki 标记 |
---|
{html}<h1 >电子表格</h1>{html} |
...
^【电子表格】电子表格在设计器卡顿优化
背景介绍: 项目在电子表格设计器中执行预览、执行、发布、报表宏、图形、引用参数、参数排版、回写规则、填报列表按钮操作,以及在表格中双击弹出单元格属性窗口时都会出现卡顿的现象。
问题原因:excel存储我们设置的信息,是基于每个单元格修改的,在保存文件(点击发布,报表宏,默认参数,预览,执行等都需要先保存并且上传到服务器上,才能获取之后处理过的相关信息:比如参数,执行结果等)时,会通过遍历一遍excel所有的单元格,去获取每个单元格的信息,保存成xml文件信息来上传到服务器,这个遍历的过程由于使用的是excel自带的API,其执行时间较久,所以整个过程就显得卡顿。
解决办法: 通过减少了非必要的遍历次数解决,将全量扫描变为局部扫描。由于预览、执行、发布等功能必须要进行全量扫描,因此只针对可以支持局部扫描的功能进行了调优,主要对以下功能进行了逻辑处理:
锚 | 即席查询 | 即席查询 |
---|
^【即席查询】字段和条件选择合并放在同一资源树下
背景介绍: 从风格统一的角度,将即席查询的资源目录区的“字段选择”和“条件选择”合并在同一资源树下,与透视分析的规划保持一致。
功能简介:
“字段选择”和“条件选择”统一到同资源树后,按照如下方法设置字段和条件:
- 字段选择:勾选资源树中的字段即可。
- 条件选择:将资源树中的字段拖拽到表格展现区,如下图红色箭头所标识。
注意事项:
详情参考:
...
|
^【即席查询】基于Teradata数据库的即席查询性能优化
...
功能简介
基于Teradata数据库的数据源下表的预览、即席查询的查询性能进行改造,添加了TopN方式取数,明显地提升了查询速度。
V9.2及之后版本的查询逻辑如下:
1、数据源下表的预览直接使用TopN方式取数,不使用rownumber分页;
2、即席查询没有设置排序的情况下,第一页使用TopN方式取数,后面的使用Top2N+rownumber分页;
3、即席查询设置排序,使用Top2N+rownumber分页;
4、即席查询的参数备选值默认排序,使用Top2N+rownumber分页。
锚 | ||||
---|---|---|---|---|
|
^【电子表格】电子表格在设计器卡顿优化
...
背景介绍
在电子表格设计器中执行预览、执行、发布、报表宏、图形、引用参数、参数排版、回写规则、填报列表按钮操作,以及在表格中双击弹出单元格属性窗口时,由于程序会遍历一遍excel所有的单元格,导致偶尔出现卡顿现象。为了避免问题的出现,我们通过监听功能进行处理。
功能简介
通过减少了非必要的遍历次数解决,将全量扫描变为局部扫描。由于预览、执行、发布等功能必须要进行全量扫描,因此只针对可以支持局部扫描的功能进行了调优,主要对以下功能进行了逻辑处理:
1、 双击打开单元格属性:不勾选监听时,只扫描当前单元格属性。
...
4、 填写列表:不勾选监听时,只扫描选中区域单元格。
设置功能是否监听的入口:
注意事项:
监听设置一旦不勾选,当电子表格行列变化比较多时,会影响单元格的动态获取,此时对于自定义数据区域、父格等功能需要按照新的行列手动设置单元格。
...
+【华为CBG-业务excel报表】实现电子表格中指定sheet页的分页设置
背景介绍: V9.2版本之前,电子表格的分页是全局性的,现有版本为了满足用户对电子表格分页灵活运用的要求,实现了基于指定sheet页的局部分页设置,因此当电子表格中涉及到部分汇总分析等数据功能时,可以针对当前sheet设置不分页。
功能简介:
1、 操作入口:在sheet页的右键菜单中选择 Sheet分页设置。
2、 Sheet分页设置窗口只需要勾选是否分页即可。
注意事项:
详情参考:
...
Wiki 标记 |
---|
{html}<h1 >其它</h1>{html} |
...
^【性能】V9压力测试问题汇总
背景介绍: 新版本在系统各类资源打开的响应时间上都进行了优化,下表列出了新版本第一轮、第二轮与V8.5.6和V7.2版本的响应速度对比数据:
...
+【报表选字段刷新】UI及操作修改
背景介绍: V9.2版本对各报表的报表选字段刷新的处理逻辑重新进行了整理和规划,增加了报表的“立即刷新”功能。
功能简介:
报表的刷新有两个设置项:
- 浏览报表自动刷新:控制的是首次打开报表是否自动刷新。
- 立即刷新:控制的是编辑报表时是否立即自动刷新。该按钮呈蓝色状态表示启用。
不同报表“立即刷新”按钮是否默认启用原则如下:
- 即席查询:系统选项-灵活分析|即席查询-报表立即刷新,该项设置确定即席查询的默认启用状态。
- 透视分析:系统选项-透视分析-报表立即刷新,该项设置确定透视分析的默认启用状态。
- 自助仪表盘:默认启用。
注意事项:
1、报表保存后,【立即刷新】的状态即为私有的。再次打开报表,【立即刷新】使用上次的保存值。
2、启用【立即刷新】,无论是否设置了切换参数后自动刷新报表,切参都会刷新;不启用【立即刷新】,如果设置了切换参数后自动刷新报表,则切参(切参包括切换过滤器和条件)会立即刷新,否则不会。
3、启用【立即刷新】,涉及到改变数据的操作都会刷新。但工具栏的某些设置项是不会触发刷新,如:保存,收藏,参数布局,视图,查看SQL,不会刷新;添加图形、修改图形)只局部刷新。
4、翻页,设置每页行数不受【立即刷新】控制。
5、自助仪表盘的定时刷新的优先级更高。
6、即席查询直接拖拽表头的顺序,不会触发刷新,它与工具栏字段设置-多重表头中改变表头的逻辑(改变表头,清空数据)是不同。
详情参考:
...
注意事项
监听设置一旦不勾选,当电子表格行列变化比较多时,会影响单元格的动态获取,此时对于自定义数据区域、父格等功能需要按照新的行列手动设置单元格。