数据抽取是指从源数据源系统抽取目的数据源系统需要的数据,以保证秒级获取大级别量的数据结果,提高系统性能。
数据抽取出来后,会以视图的形式存放在SmartbiMpp数据源下,后续创建组合分析、透视分析、可视化查询、SQL查询等时SmartbiMpp数据源可以当做一般关系源使用。
目前系统中支持数据抽取的有:自助数据集、可视化查询、SQL查询、原生SQL查询、存储过程查询、Java查询、透视分析、组合分析、加载Excel数据。
系统支持通过数据行权限控制,保证所有用户抽取到其权限内的数据的有:可视化查询、组合分析、自助数据集。
注:V8.0及之前版本只有自助数据集可以做数据抽取,V8.5版本中,SQL查询等非自助数据集以及加载Excel数据支持抽取到高速缓存库。
数据抽取功能必须要在当前数据集保存的前提下才能被激活使用。
目前系统支持三种抽取的设置:
1、实时:表示不抽取。
2、全量抽取:类似于数据迁移或数据复制,它将当前数据集数据原封不动的从数据库中抽取数据。
3、增量抽取:指抽取自上次抽取以来抽取的数据集中新增、修改、删除的数据。
在数据抽取过程中,对于抽取异常的情况,系统提供两种处理机制:
1、回滚:表示返回到数据抽取前的状态,抽取数据出错时会立即停止抽取。
2、继续:表示抽取数据出错时会继续抽取下一条数据,并将这条错误数据写入异常日志,供后面下载查看异常原因。
数据抽取在抽取时间上,允许“立即抽取”或者“定时抽取”到高速缓存中,其中定时抽取是通过定制计划任务实现,具体的设置请参见计划章节。
数据行权限控制的有:自助数据集、可视化查询、组合分析、自助数据集。执行用户中有:
1、资源创建者:管理员(系统默认)。
2、特定用户:指定用户抽取到权限内的数据。
使用自助数据集设置数据抽取,在之后创建自助仪表盘时会直接从SmartbiMpp里取数据,提高系统性能。
操作步骤
1.新建自助数据集并 保存,点击右上方的抽取图标后点击 设置,在弹出的界面中选择抽取方式,默认为全量抽取,界面如下:
增量抽取设置窗口如下图所示:
操作入口:单击可视化查询工具栏中的 数据抽取 按钮,弹出“数据抽取设置”窗口。如下图所示:
当我们选择透视分析数据抽取后,勾选 抽取数据到临时表中 则报表立即进行数据抽取,把数据存储到自动生成的临时表中。
抽取完成后,我们此刻再对此透视分析进行刷新等操作时,则数据会从临时表中读取,从而达到提高性能的目的。
组合分析抽取只有实时和全量抽取两种方式。