数据抽取1

概述

数据抽取是指从源数据源抽取原始数据，以视图的形式存放在高速缓存库下，后续在创建组合分析、可视化查询、SQL查询等时高速缓存库可以当作一般数据源使用，以保证秒级获取大级别量的数据结果，提高系统性能。

目前系统中支持数据抽取的有：自助数据集、可视化查询、SQL查询、原生SQL查询、存储过程查询、Java查询、组合分析、透视分析。

系统支持通过数据行权限，控制用户只抽取到其权限内的数据的有：可视化查询、组合分析、自助数据集。

注：1. 数据抽取功能必须要在当前数据集保存的前提下才能被激活使用。

2. V8.0及之前版本只有自助数据集可以做数据抽取，V8.5版本中，SQL查询等非自助数据集以及加载Excel数据支持数据抽取到高速缓存库。

文档目录：

新建自助数据集并保存，点击工具栏上的抽取图标后点击设置按钮，在弹出的界面中选择抽取方式，默认为全量抽取，界面如下：

抽取界面介绍如下：

界面介绍	分类	功能说明
抽取方式	实时	表示不抽取。
	全量抽取（默认）	类似于数据迁移或数据复制，它将当前数据集的可见字段（非新建字段）从数据库中抽取到高速缓存库。
	增量抽取	指抽取与上次抽取最大时间对比之后增量的数据。
异常处理	回滚（默认）	表示返回到数据抽取前的状态。
异常处理	继续	表示抽取数据出错时会继续抽取下一条数据，并将这条错误数据写入异常日志，供后面下载查看异常原因。
执行用户	资源创建者（默认）	抽取资源创建者数据权限内的数据。
执行用户	特定用户	设置用户名和密码，抽取特定用户数据权限内的数据。相关权限控制可参考数据权限。
抽取时间	立即抽取	表示将数据立即抽取到高速缓存库中。
抽取时间	定时抽取	表示将数据定时抽取到高速缓存中，其中定时抽取是通过定时任务实现。

选择增量抽取时，界面介绍如下：

上图红框标识框为增量抽取设置的核心内容，各设置项说明如下：

设置项	说明
增加字段设置	若当前数据集是跨数据源的，则允许通过“”增加增量字段设置。
增量字段	表示从业务库中获取增量数据的匹配字段，通过该字段在高速缓存库中与业务库进行比对之后，获取增量数据。该字段通常以时间字段为准。
忽略抽取当天数据	表示除掉当天数据之外的增量数据。
时间格式	若时间字段为DATE或DATETIME类型时，时间格式不可选。若时间字段为非DATE或DATETIME类型时，需要设置时间格式。
覆盖最后抽取的N天数据	表示根据时间戳，重新抽取高速缓存库中已抽取的数据表中的最后N天数据。只有当高速缓存库为vertica时，才支持【覆盖最后抽取的X天数据】