数据抽取

功能概述

数据抽取是指从源数据库中抽取原始数据到高速缓存库，它可以保证秒级获取大级别量的数据结果，提高系统性能。

系统支持数据抽取功能的模块有：自助数据集、可视化数据集、SQL数据集、原生SQL数据集、存储过程数据集、Java数据集、即席查询、透视分析、加载Excel数据。

数据抽取功能的机制如下：

1）数据集或分析确定结果字段。

2）发起数据抽取指令后，从源数据库中将字段的所有数据抽取到高速缓存库，在高速缓存库的“DEFAULT”节点下生成对应的视图和字段：

3）再次查询当前数据集或分析的数据时，从高速缓存库获取数据。

注：

1、数据抽取功能必须在当前数据集已保存的前提下才能被激活使用。

2、系统支持“可视化数据集”、“即席查询”和“自助数据集”通过数据行权限控制数据抽取的结果。

3、数据集抽取时，如果包含参数，则只会抽取参数默认值相关的数据，如果参数没有默认值，将无法正常完成抽取。

4、 V8.0及以下版本只支持自助数据集的数据抽取。

入口及界面

1、即席查询：在已保存的即席查询的编辑界面，单击工具栏上的抽取按钮（），打开“数据抽取设置”窗口。

2、非自助数据集：在已保存的非自助数据集的编辑界面，单击工具栏上的抽取按钮（），打开“数据抽取设置”窗口。

3、自助数据数据集：在已保存的自助数据集的编辑界面，先单击工具栏上的抽取按钮（），再单击旁边的设置（），打开“数据抽取设置”窗口。

设置说明

即席查询的数据抽取功能不支持“增量抽取”。

“数据抽取”窗口中的设置项说明如下：

界面介绍	分类		功能说明
抽取方式	实时		表示不抽取。其中，自助数据集的不抽取设置通过实时按钮（）实现。
	全量抽取	清空数据	勾选清空数据：清空缓存数据并重新抽取。勾除清空数据：保留每次抽取的数据记录，并再次抽取所有数据。注：勾除清空数据时，用户需要在定义数据集时，添加标识符字段用于区分抽取数据的历史版本。详情请参考数据抽取示例。
	增量抽取	增量抽数据按时间戳	指与上次抽取结果中最大时间对比，将大于这个时间的数据进行集中抽取。注：目前只有自助数据集支持增量抽取，且只有自助数据集中含有时间信息的字段才支持增量抽取。
		增量字段	表示与上次抽取结果的最大时间进行比对的字段，必须将记录了时间信息的字段做为增量字段。
		时间格式	时间格式用于将非DATE或非DATETIME类型的增量字段进行格式转化。例如：若增量字段为“订单日期”，“订单日期”是“string”类型，数值是“20150101”，则我们需要设置其时间格式为“YYYYMMDD”。
		增量参数	表示按照选择的参数，抽取该参数相关数据。注：非自助数据集才有“增量参数”设置项。
		忽略抽取当天数据	表示不包含当天的增量数据。
		覆盖最后抽取的N天数据	表示根据时间戳，重新抽取并覆盖高速缓存库中当前自助数据集的最后N天数据。目前只支持Vertica类型的高速缓存库允许“覆盖最后抽取的N天数据”设置项。
抽取表设置	抽取表名		支持自定义表名。设置抽取表名：以“输入的表名”作为表名称，“数据集名称”作为表别名。不设置抽取表名：默认以“数据集ID”作为表名称，“数据集名称”作为表别名。注：1、输入的表名不支持“@#$%^&{}[]/”等特殊字符。 2、抽取到“星环”和“Presto+Hive”高速缓存库，输入的表名不支持“中文”。 1、输入的表名不支持“@#$%^&{}[]/”等特殊字符。 2、抽取到“星环”和“Presto+Hive”高速缓存库，输入的表名不支持“中文”。
	高级设置	分区字段分区类型	“分区字段”和“分区类型”设置项用于设置集群的数据抽取，若未选择时间字段，则不使用Smartbiampp集群建表。 “分区字段”要求为日期类型的。在不清空数据的情况下，集群多次抽取以首次选择的分区类型为准。如首次抽取分区类型选择“年”，再次抽取且不清空数据时，分区字段选择“月/日”，抽取后表数据追加，仍按年分区。
异常处理	回滚		表示返回到数据抽取前的状态。
异常处理	继续		表示继续抽取下一条数据，并将这条错误数据写入异常日志，供用户下载查看异常原因。
执行用户	资源创建者		表示当前自助数据集的创建用户，将只抽取该创建用户拥有的数据行权限内的数据。数据行权限详情请参考数据权限。
执行用户	特定用户		表示指定抽取的用户，通过用户名和密码指定，将抽取该指定用户拥有的数据行权限内的数据。数据行权限详情请参考数据权限。
抽取时间	立即抽取		表示立即抽取数据到高速缓存库。
抽取时间	定时抽取		表示根据时间计划将数据定时抽取到高速缓存，其中定时抽取通过定制计划任务实现，详情请参见计划章节。