页面树结构
转至元数据结尾
转至元数据起始

正在查看旧版本。 查看 当前版本.

与当前比较 查看页面历史

« 前一个 版本 19 下一个 »

概述

数据抽取是指从源数据源系统抽取目的数据源系统需要的数据,以保证秒级获取大级别量的数据结果,提高系统性能。

数据抽取出来后,会以视图的形式存放在SmartbiMpp数据源下,后续创建组合分析、透视分析、可视化查询、SQL查询等时SmartbiMpp数据源可以当做一般关系源使用。

目前系统中支持数据抽取的有:自助数据集、可视化查询、SQL查询、原生SQL查询、存储过程查询、Java查询、透视分析、组合分析、加载Excel数据。

系统支持通过数据行权限控制,保证所有用户抽取到其权限内的数据的有:可视化查询、组合分析、自助数据集。

注:V8.0及之前版本只有自助数据集可以做数据抽取,V8.5版本中,SQL查询等非自助数据集以及加载Excel数据支持抽取到高速缓存库。

数据抽取功能必须要在当前数据集保存的前提下才能被激活使用

抽取设置

目前系统支持三种抽取的设置:

 1、实时:表示不抽取。

 2、全量抽取:类似于数据迁移或数据复制,它将当前数据集数据原封不动的从数据库中抽取数据。

 3、增量抽取:指抽取自上次抽取以来抽取的数据集中新增、修改、删除的数据。

在数据抽取过程中,对于抽取异常的情况,系统提供两种处理机制:

1、回滚:表示返回到数据抽取前的状态,抽取数据出错时会立即停止抽取。

2、继续:表示抽取数据出错时会继续抽取下一条数据,并将这条错误数据写入异常日志,供后面下载查看异常原因。

数据抽取在抽取时间上,允许“立即抽取”或者“定时抽取”到高速缓存中,其中定时抽取是通过定制计划任务实现,具体的设置请参见计划章节。

数据行权限控制的有:自助数据集、可视化查询、组合分析。

执行用户中有:

1、资源创建者:管理员(系统默认)。

2、特定用户:指定用户抽取到权限内的数据。

统一数据集的抽取功能

1 自助数据集数据抽取

使用自助数据集设置数据抽取,在之后创建自助仪表盘时会直接从SmartbiMpp里取数据,提高系统性能。

操作步骤

1.新建自助数据集并 保存,点击右上方的抽取图标后点击 设置,在弹出的界面中选择抽取方式,默认为全量抽取,界面如下:


增量抽取设置窗口如下图所示:

2 可视化查询数据抽取

操作入口:单击可视化查询工具栏中的 数据抽取 按钮,弹出“数据抽取设置”窗口。如下图所示:

 

3 SQL查询数据抽取(具体介绍)

 

4 原生SQL查询数据抽取

5 存储过程查询数据抽取

 

6 Java查询数据抽取

 

7 透视分析数据抽取

当我们选择透视分析数据抽取后,勾选 抽取数据到临时表中 则报表立即进行数据抽取,把数据存储到自动生成的临时表中。

抽取完成后,我们此刻再对此透视分析进行刷新等操作时,则数据会从临时表中读取,从而达到提高性能的目的。

8 组合分析数据抽取

组合分析抽取只有实时和全量抽取两种方式。

9 加载Excel数据数据抽取

 




  • 无标签