版本比较
标识
- 该行被添加。
- 该行被删除。
- 格式已经改变。
概述
数据抽取是指从源数据源系统抽取目的数据源系统需要的数据,以保证秒级获取大级别量的数据结果,提高系统性能。
数据抽取出来后,会以视图的形式存放在SmartbiMpp数据源下,后续创建组合分析、透视分析、可视化查询、SQL查询等时SmartbiMpp数据源可以当做一般关系源使用。
目前系统中支持数据抽取的有:自助数据集、可视化查询、SQL查询、原生SQL查询、存储过程查询、Java查询、透视分析、组合分析、加载Excel数据。
系统支持通过数据行权限控制,保证所有用户抽取到其权限内的数据的有:可视化查询、组合分析、自助数据集。
数据抽取功能必须要在当前数据集保存的前提下才能被激活使用。
注:V8.0及之前版本只有自助数据集可以做数据抽取,V8.5版本中,SQL查询等非自助数据集以及加载Excel数据支持抽取到高速缓存库。
界面介绍
新建自助数据集并 保存,点击右上方的抽取图标后点击 设置,在弹出的界面中选择抽取方式,默认为全量抽取,界面如下:
界面介绍 | 分类 | 功能说明 |
---|---|---|
抽取方式 | 实时 | 表示不抽取。 |
全量抽取(默认) | 类似于数据迁移或数据复制,它将当前数据集数据原封不动的从数据库中抽取数据。 | |
增量抽取 | 指抽取自上次抽取以来抽取的数据集中新增、修改、删除的数据。 | |
异常处理 | 回滚(默认) | 表示返回到数据抽取前的状态。 |
继续 | 表示抽取数据出错时会继续抽取下一条数据,并将这条错误数据写入异常日志,供后面下载查看异常原因。 | |
执行用户 (V8.5新增功能) | 资源创建者 | 管理员(系统默认)。 |
特定用户 | 指定用户抽取到权限内的数据。相关权限控制可参考权限管理。 | |
抽取时间 | 立即抽取 | 表示将数据立即抽取到高速缓存库中。 |
定时抽取 | 表示将数据定时抽取到高速缓存中,其中定时抽取是通过定制计划任务实现。 |
选择增量抽取时,界面介绍如下:
上图红框标识片为增量抽取设置的核心内容,各设置项说明如下:上图红框标识框为增量抽取设置的核心内容,各设置项说明如下:
设置项 | 说明 |
---|---|
增加字段设置 | 若当前数据集是跨数据源的,则允许通过“![]() |
增量字段 | 表示从业务库中获取增量数据的匹配字段,通过该字段在MPP与业务库进行比对之后,获取增量数据。 该字段通常以时间字段为准。 |
忽略抽取当天数据 | 表示除掉当天数据之外的增量数据。 |
时间格式 | 若时间字段为字符串类型时,需要设置时间格式。 |
覆盖最后抽取的N天数据 | 表示根据时间戳,重新抽取MPP中已抽取的数据表中的最后N天数据。 |
操作步骤
全量抽取
1.新建自助数据集并保存。
2.点击右上方的抽取图标后如图:
点击设置,在弹出的界面中选择抽取方式,默认为全量抽取
3.选择“立即抽取”,抽取完成后在右上角会显示“同步完成”。
4.抽取出的数据会以视图形式存放在SmartbiMpp数据源下。SmartbiMpp数据源入口:左侧资源树找到数据管理-》数据源-》SmartbiMpp,点开可以找到抽取的数据
增量抽取
前两个步骤与全量抽取相同。
3 下面删除度量区的所有字段后再抽取数据
将度量区所有字段和维度中的“交货日期”设为不可见:
4 抽取方式选择“增量抽取按时间戳”,界面如下:
设置增量字段为订单表中的交货日期:
注:当选择的增量字段为时间类型时,时间格式不可选。
“忽略抽取当天数据”和“覆盖最后抽取的 天数据”默认不勾选,可根据实际情况勾选。
5.抽取完成后可在SmartbiMpp数据源下找到视图。若抽取的数据集进行过全量抽取,已经生成了视图,则再进行增量抽取后数据会直接在视图里更新。
目录 |
---|