页面树结构
转至元数据结尾
转至元数据起始

正在查看旧版本。 查看 当前版本.

与当前比较 查看页面历史

« 前一个 版本 21 下一个 »

概述

数据抽取是指从源数据源系统抽取目的数据源系统需要的数据,以保证秒级获取大级别量的数据结果,提高系统性能。

数据抽取出来后,会以视图的形式存放在SmartbiMpp数据源下,后续创建组合分析、透视分析、可视化查询、SQL查询等时SmartbiMpp数据源可以当做一般关系源使用。

目前系统中支持数据抽取的有:自助数据集、可视化查询、SQL查询、原生SQL查询、存储过程查询、Java查询、透视分析、组合分析、加载Excel数据。

系统支持通过数据行权限控制,保证所有用户抽取到其权限内的数据的有:可视化查询、组合分析、自助数据集。

注:V8.0及之前版本只有自助数据集可以做数据抽取,V8.5版本中,SQL查询等非自助数据集以及加载Excel数据支持抽取到高速缓存库。

数据抽取功能必须要在当前数据集保存的前提下才能被激活使用

抽取设置

目前系统支持三种抽取的设置:

 1、实时:表示不抽取。

 2、全量抽取:类似于数据迁移或数据复制,它将当前数据集数据原封不动的从数据库中抽取数据。

 3、增量抽取:指抽取自上次抽取以来抽取的数据集中新增、修改、删除的数据。

在数据抽取过程中,对于抽取异常的情况,系统提供两种处理机制:

1、回滚:表示返回到数据抽取前的状态,抽取数据出错时会立即停止抽取。

2、继续:表示抽取数据出错时会继续抽取下一条数据,并将这条错误数据写入异常日志,供后面下载查看异常原因。

数据抽取在抽取时间上,允许“立即抽取”或者“定时抽取”到高速缓存中,其中定时抽取是通过定制计划任务实现,具体的设置请参见计划章节。

数据行权限控制的有:自助数据集、可视化查询、组合分析。

当有需求只允许抽取到用户权限内的数据时,可设置数据抽取执行用户,

1、资源创建者:管理员(系统默认)。

2、特定用户:指定用户抽取到权限内的数据。相关权限控制可参考

 自助数据集数据抽取

使用自助数据集设置数据抽取,在之后创建自助仪表盘时会直接从SmartbiMpp里取数据,提高系统性能。

操作入口

1.新建自助数据集并 保存,点击右上方的抽取图标后点击 设置,在弹出的界面中选择抽取方式,默认为全量抽取,界面如下:


增量抽取设置窗口如下图所示:

上图红框标识片为增量抽取设置的核心内容,各设置项说明如下:

 


 

 

 

 

 

 

 

 

7 透视分析数据抽取

当我们选择透视分析数据抽取后,勾选 抽取数据到临时表中 则报表立即进行数据抽取,把数据存储到自动生成的临时表中。

抽取完成后,我们此刻再对此透视分析进行刷新等操作时,则数据会从临时表中读取,从而达到提高性能的目的。

 

 

 

 




  • 无标签