页面树结构

版本比较

标识

  • 该行被添加。
  • 该行被删除。
  • 格式已经改变。

ETL通常是将多来源的异构数据,进行处理后得到具备完整性、一致性的数据模型。在Smartbi中,ETL模块做为轻量级的应用,可以为库表提取数据模型的语义,可以通过易于操作的可视化工具,将数据加工成具备语义一致性与完整性的数据模型;也可以增强自助数据集构建数据模型的能力。ETL通常是将多来源的异构数据,进行处理后得到具备完整性、一致性的数据模型。

自助ETL模块以工作流的形式实现为库表提取数据模型的语义,通过易于操作的可视化工具,将数据加工成具备语义一致性与完整性的数据模型;也可以增强自助数据集构建数据模型的能力。

我们通过封装ETL算法,将技术分离,可以实现业务人员进行自助ETL操作。

_数据处理流程
_数据处理流程
数据处理工作流示例

ETL的工作流必须以数据源为起点以目标源为终点:从数据源中抽取需要进行处理的数据,通过拖拽内置的预处理方法,之后将处理过的数据存储到目标源中。
数据处理的工作流必须以数据源为起点以目标源为终点:从数据源中抽取需要进行处理的数据,通过拖拽平台内置的预处理方法,之后将处理过的数据存储到目标源中。Image Added
Image Removed系统支持的数据预处理方法包含:采样、拆分、过滤与映射、列选择、空值处理、合并列、合并行、元数据编辑、JOIN、行选择、去除重复值、排序、增加序列号、聚合、分列、派生列等。

平台支持的数据预处理方法包含:采样、拆分、过滤与映射、列选择、空值处理、合并列、合并行、元数据编辑、JOIN、行选择、去除重复值、排序、增加序列号、聚合、分列、派生列等。这些预处理方法的使用详情请参见 这些预处理方法的使用详情请参见 数据预处理 章节。

功能入口

在平台中一个ETL数据处理工作流是以"数据处理项目"为单位的。
进入数据处理项目流定制界面的操作入口:

...