版本比较
标识
- 该行被添加。
- 该行被删除。
- 格式已经改变。
概述
数据抽取是指从源数据源系统抽取目的数据源系统需要的数据,以保证秒级获取大级别量的数据结果,提高系统性能。
数据抽取出来后,会以视图的形式存放在SmartbiMpp数据源下,后续创建组合分析、透视分析、可视化查询、SQL查询等时SmartbiMpp数据源可以当做一般关系源使用。
目前系统中支持数据抽取的有:自助数据集、可视化查询、SQL查询、原生SQL查询、存储过程查询、Java查询、透视分析、组合分析、加载Excel数据。
系统支持通过数据行权限控制,保证所有用户抽取到其权限内的数据的有:可视化查询、组合分析、自助数据集。
数据抽取功能必须要在当前数据集保存的前提下才能被激活使用。
注:V8.0及之前版本只有自助数据集可以做数据抽取,V8.5版本中,SQL查询等非自助数据集以及加载Excel数据支持抽取到高速缓存库。
界面介绍
新建自助数据集并 保存,点击右上方的抽取图标后点击 设置,在弹出的界面中选择抽取方式,默认为全量抽取,界面如下:
界面介绍 | 分类 | 功能说明 |
抽取方式 | 实时 | 表示不抽取。 |
全量全量抽取 | 类似于数据迁移或数据复制,它将当前数据集数据原封不动的从数据库中抽取数据。 | |
增量增量抽取 | 指抽取自上次抽取以来抽取的数据集中新增、修改、删除的数据。 | |
异常处理 | 回滚 | 表示返回到数据抽取前的状态,若抽取数据出错时会立即停止抽取。(有疑问) |
继续 | 表示抽取数据出错时会继续抽取下一条数据,并将这条错误数据写入异常日志,供后面下载查看异常原因。 | |
执行用户 (V8.5新增功能) | 资源创建者 | 管理员(系统默认)。 |
特定用户 | 指定用户抽取到权限内的数据。相关权限控制可参考权限管理。 | |
抽取时间 | 立即抽取 | 表示将数据立即抽取到高速缓存库中。 |
定时抽取 | 表示将数据定时抽取到高速缓存中,其中定时抽取是通过定制计划任务实现。 |
操作步骤
全量抽取
增量抽取
增量抽取设置窗口如下图所示:
上图红框标识片为增量抽取设置的核心内容,各设置项说明如下:
设置项 | 说明 |
---|---|
增加字段设置 | 若当前数据集是跨数据源的,则允许通过“![]() |
增量字段 | 表示从业务库中获取增量数据的匹配字段,通过该字段在MPP与业务库进行比对之后,获取增量数据。 该字段通常以时间字段为准。 |
忽略抽取当天数据 | 表示除掉当天数据之外的增量数据。 |
时间格式 | 若时间字段为字符串类型时,需要设置时间格式。 |
覆盖最后抽取的N天数据 | 表示根据时间戳,重新抽取MPP中已抽取的数据表中的最后N天数据。 |
目录 |
---|