...
自助数据集的数据来源为hana数据库的表,且带有参数,期望自助数据集能支持参数,因此V9及之后版本自助数据集支持参数。
功能简介
自助数据集增加“设置参数(
)”设置项。
锚 V9_数据集_2 V9_数据集_2
V9_数据集_2 | |
V9_数据集_2 |
+【自助数据集】多维查询支持作为自助数据集的数据来源
...
背景介绍
实现自助数据集支持更多的数据来源,V9及之后版本增加多维查询作为自助数据集的数据来源。
...
V9及之后版本,自助数据集支持基于其他数据集,包括“可视化查询、SQL查询、原生SQL查询、JAVA查询、存储过程查询、多维查询、组合分析、透视分析”创建。
详情参考
关于自助数据集的数据来源,详情请参考 自助数据集-数据来源。
锚V9_数据集_3 V9_数据集_3
V9_数据集_3 | |
V9_数据集_3 |
+【数据抽取】从缓存中抽取和多线程并发抽取来提高抽取效率
...
背景介绍
数据抽取存在如下两种情况:
1、之前的版本,执行抽取时直接从数据库读取数据,在数据量较大的情况下,则抽取需要较多时间。因此,我们对其进行优化,V9及之后版本增加设置数据抽取时每次读取的数据条数,这样执行抽取时从缓存中读取,提高抽取效率。
数据抽取存在如下两种情况:1、之前的版本,执行抽取时直接从数据库读取数据,在数据量较大的情况下,则抽取需要较多时间。因此,我们对其进行优化,V9及之后版本增加设置数据抽取时每次读取的数据条数,这样执行抽取时从缓存中读取,提高抽取效率。2、当抽取亿级别数据量时,如果为单线程抽取,容易出现抽取缓慢,抽取不成功甚至环境奔溃的情况。因此,V9及之后版本增加多线程并发抽取,在用户抽取较大数据量时,可设置多线程并发抽取。2、当抽取亿级别数据量时,如果为单线程抽取,容易出现抽取缓慢,抽取不成功甚至环境奔溃的情况。因此,V9及之后版本增加多线程并发抽取,在用户抽取较大数据量时,可设置多线程并发抽取。
功能简介
1、在“系统选项 > 查询设置”界面增加“数据抽取时每次读取数据条数(JDBC Fetchsize)”设置项。用于设置一次从数据库读取的数据条数,执行抽取时直接从缓存中读取,提高抽取效率。
2、在“系统选项 > 查询设置”界面增加“数据抽取并发线程数”和“数据抽取时每页记录数”这两个设置项,支持多线程并发抽取。
数据抽取的处理机制如下:
(1)数据抽取并发线程数等于1,抽取不做分页导出。1)数据抽取并发线程数等于1,抽取不做分页导出。
(2)数据抽取并发线程数不等于1,抽取做分页导出,分为两种情况:2)数据抽取并发线程数不等于1,抽取做分页导出,分为两种情况:
- 抽取总数量/数据抽取时每页记录数<=数据抽取并发线程数,抽取与“数据抽取时每页记录数”相关。
...
批数=抽取总数量/一批的抽取数量,有余数加1取整数。
锚V9_数据集_4 V9_数据集_4
V9_数据集_4 | |
V9_数据集_4 |
^【数据抽取】SmartbiMPP支持集群抽取
...
在实际运用中,期望SmartbiMPP支持集群抽取。结合产品的使用,我们对其进行优化,V9及之后版本SmartbiMPP支持集群抽取。
功能简介
数据集抽取增加“集群字段”和“集群分区类型”设置项,支持SmartbiMPP集群抽取。
- 集群字段要求为日期类型的。
支持SmartbiMPP集群抽取:数据集抽取增加“高级设置”,对“分区字段”和“分区类型”进行设置。其中,集群字段要求为日期类型。
注意事项
在不清空数据的情况下,SmartbiMPP多次集群抽取以首次选择的集群分区类型为准。如首次抽取集群分区类型选择“年”,再次抽取且不清空数据时,集群分区字段选择“月在不清空数据的情况下,SmartbiMPP多次集群抽取以首次选择的集群分区类型为准。如首次抽取分区类型选择“年”,再次抽取且不清空数据时,分区字段选择“月/日”,抽取后表数据追加,仍按年分区。
详情参考
关于数据抽取,详情请参考 数据抽取。
...
- 不设置抽取表名:默认以“数据集ID”作为表名称,“数据集名称”作为表别名。
- 设置抽取表名:以“输入的表名”作为表名称,“数据集名称”作为表别名。
注意事项
1、输入的表名不支持“@#$%^&*{}[]/”等特殊字符。
2、抽取到“星环”和“Presto+Hive”高速缓存库,输入的表名不支持“中文”。
详情参考
关于数据抽取,详情请参考 数据抽取。
锚V9_数据集_6 V9_数据集_6
V9_数据集_6 | |
V9_数据集_6 |
^【自助数据集】预览数据界面的提示更准确
...
自助数据集支持预览数据,且数据为数据库的实时数据,为了更准确地表述,V9及之后版本将原先的“刷新数据”更改为“刷新实时数据”,表明数据是数据库的实时数据。
功能简介
预览数据界面提示文字为“刷新实时数据”。
锚V9_数据集_7 V9_数据集_7
V9_数据集_7 | |
V9_数据集_7 |
...
1、V9及之后版本封装一套Smartbi自身的函数语法,用于适配Smartbi所支持的所有数据库,不包括“Teradata_v12”和“aliyun AnalyticDB”这两个数据库。函数分为四种类型:字符串、时间日期、数值、系统。 AnalyticDB”这两个数据库。
函数分为四种类型:字符串、时间日期、数值、系统。
2、新增函数校验功能,校验输入的函数是否在提供的函数列表中。
- 如果表达式不在函数列表中,点击 确定 按钮,弹出提示框,提示该函数不是标准函数库语法,在其他数据库可能无法使用。
...
- 在编辑表达式过程中,可通过点击 校验 按钮,校验输入的函数是否在提供的函数列表中。
...
注意事项
1、对于ClickHouse数据库,用该自助数据集创建自助仪表盘时,对于一个组件要求:设置了聚合方式的字段与用该字段创建的计算字段不能同时使用。
...
关于自助数据集的计算字段,详情请参考 自助数据集-计算字段。
锚V9_数据集_8 V9_数据集_8
V9_数据集_8 | |
V9_数据集_8 |
^【数据集】抽取日志采取分页加载
...