数据抽取1

概述

数据抽取是指从源数据源系统抽取目的数据源系统需要的数据，以保证秒级获取大级别量的数据结果，提高系统性能。

数据抽取出来后，会以视图的形式存放在SmartbiMpp数据源下，后续创建组合分析、透视分析、可视化查询、SQL查询等时SmartbiMpp数据源可以当做一般关系源使用。

目前系统中支持数据抽取的有：自助数据集、可视化查询、SQL查询、原生SQL查询、存储过程查询、Java查询、透视分析、组合分析、加载Excel数据。

系统支持通过数据行权限控制，保证所有用户抽取到其权限内的数据的有：可视化查询、组合分析、自助数据集。

数据抽取功能必须要在当前数据集保存的前提下才能被激活使用。

注：V8.0及之前版本只有自助数据集可以做数据抽取，V8.5版本中，SQL查询等非自助数据集以及加载Excel数据支持抽取到高速缓存库。

新建自助数据集并保存，点击右上方的抽取图标后点击设置，在弹出的界面中选择抽取方式，默认为全量抽取，界面如下：

界面介绍	分类	功能说明
抽取方式	实时	表示不抽取。
	全量抽取	类似于数据迁移或数据复制，它将当前数据集数据原封不动的从数据库中抽取数据。
	增量抽取	指抽取自上次抽取以来抽取的数据集中新增、修改、删除的数据。
异常处理	回滚	表示返回到数据抽取前的状态，若抽取数据出错时会立即停止抽取。（有疑问）
异常处理	继续	表示抽取数据出错时会继续抽取下一条数据，并将这条错误数据写入异常日志，供后面下载查看异常原因。
执行用户（V8.5新增功能）	资源创建者	管理员（系统默认）。
执行用户（V8.5新增功能）	特定用户	指定用户抽取到权限内的数据。相关权限控制可参考权限管理。
抽取时间	立即抽取	表示将数据立即抽取到高速缓存库中。
抽取时间	定时抽取	表示将数据定时抽取到高速缓存中，其中定时抽取是通过定制计划任务实现。

选择增量抽取时，界面介绍如下：

设置项	说明
增加字段设置	若当前数据集是跨数据源的，则允许通过“”增加增量字段设置。
增量字段	表示从业务库中获取增量数据的匹配字段，通过该字段在MPP与业务库进行比对之后，获取增量数据。该字段通常以时间字段为准。
忽略抽取当天数据	表示除掉当天数据之外的增量数据。
时间格式	若时间字段为字符串类型时，需要设置时间格式。
覆盖最后抽取的N天数据	表示根据时间戳，重新抽取MPP中已抽取的数据表中的最后N天数据。

增量抽取设置窗口如下图所示：

上图红框标识片为增量抽取设置的核心内容，各设置项说明如下：

关注我们

服务支持