文本数据源
概述
文本数据源是指将HDFS读取的csv等数据文件导入到Smartbi中。
输入/输出
输入 | 没有输入端口。 |
|---|---|
| 输出 | 只有一个输出端口，用于输出数据到下一节点资源。 |
参数配置
设置文本数据源的参数：
设置说明如下：
| 参数 | 说明 |
|---|---|
| 地址 | 文本数据在HDFS的路径，其中：
|
| 数据格式 | 选择文本的数据格式：csv、json、parquet、apache.orc。 |
| 文件编码 | 选择当前数据文件的编码格式：GBK或UTF-8。 |
| 读取行数 | 选择用于当前工作流的数据量：测试1000条、全部。 |
文本分隔符 | 选择当前数据文件中的分隔符：逗号、分号、空格、tab、竖线。 |
| 自动推断数据类型 | 若需要自动判断数据源中字段的数据类型，则选true，否则选false。 |
| 自动生成表头 | 表示上传数据时是否生成表头：若上传数据时没有表头，则选ture，系统自动生成表头；否则选false。 |
Kafka数据源
概述
Kafka数据源是指从kafka读取数据。
输入/输出
输入 | 没有输入端口。 |
|---|---|
| 输出 | 只有一个输出端口，用于输出数据到下一节点资源。 |
参数配置
设置说明如下：
| 参数 | 说明 |
|---|---|
| Kafka服务地址 | 连接Kafka的地址。 |
| Topic | 订阅的主题，一个topic可以看做为kafka中的一类消息。 |
| 偏移量 | 每条消息在文件中保存的位置被称为偏移量（offset），从指定的起点开始消费kafka数据。注：必须选择或者输入数字
|
| 消息格式 | 支持csv跟json格式，如果是csv格式，需要设置分隔符跟字段映射。 |
关系数据源
概述
关系数据源是指从Smartbi关系数据源中读取的库表数据。
| 信息 | ||
|---|---|---|
| ||
目前支持Infobright、ClickHouse、Vectical、Oracle、Mysql、DB2、MSSQL、Presto+hive、guass100、PG、Greenplum、星环hive。 |
输入/输出
输入 | 没有输入端口。 |
|---|---|
| 输出 | 只有一个输出端口，用于输出数据到下一节点资源。 |
参数配置
设置关系数据源的参数：
设置说明如下：
参数 | 说明 |
|---|---|
| 数据源 | 选择数据源，这些数据源是Smartbi中连接配置好的关系数据源。 |
| SHEMA | 选择SHEMA。 |
| 表名 | 选择表。 |
| SQL语句 | 通过SQL语句设置where条件，过滤出表中的数据用于工作流。 |
示例数据源
概述
示例数据源是指从系统中读取内置的示例数据源。
输入输出
| 输入 | 没有输入端口。 |
|---|---|
| 输出 | 只有一个输出端口，用于输出数据到下一节点资源。 |
参数配置
设置示例数据源的参数：
设置说明如下：
| 参数 | 说明 |
|---|---|
| 数据源选择 | 选择平台内置的示例数据源 |
数据集
概述
数据集是指从Smartbi中读取数据集中的数据，包含：可视化数据集、SQL数据集、原生SQL数据集、Java数据集、存储过程数据集、多维数据集、自助数据集。
输入输出
| 输入 | 没有输入端口。 |
|---|---|
| 输出 | 只有一个输出端口，用于输出数据到下一节点资源。 |
参数配置
设置数据集的参数：
设置说明如下：
参数 | 说明 |
|---|---|
| 请选择数据集 | 用于单击按钮后，在“数据集选择”窗口中选择Smartbi中已定义的数据集。 |
| 新建数据集 | 用于新建指定类型的数据集，选择数据集后，跳转到指定数据集的新建界面；可选的数据集类型有：自助数据集、原生SQL数据集、可视化数据集、存储过程数据集、Java数据集、多维数据集。 |
| 编辑已选数据集 | 用于编辑选择的数据集，单击按钮后，会跳转到指定数据集的编辑界面。 |
| 数据更新设置 | 用于设置数据集是否需要重新抽取：“更新抽取数据”表示需要重新抽取；“使用已抽取数据”表示不需要重新抽取。 |
目标源
Smartbi提供了两种目标源用于数据的输出，分别是关系目标表、导出数据到HDFS，支持将数据导出到目标库中。Smartbi提供了4种方式用于数据的输出，分别是关系目标表（追加）、关系目标表（覆盖）、关系目标表（插入或更新）、导出数据到HDFS，支持将数据导出到目标库中。
关系目标表
概述
关系目标表通过追加、覆盖、插入或更新的方式将结果数据保存到Smartbi的关系数据源中。
| 信息 | ||
|---|---|---|
| ||
目前支持Infobright、ClickHouse、Vectical、Oracle、Mysql、DB2、MSSQL、PG、guass100、Greenplum。 |
输入输出
| 输入 | 只有一个输入端口，用于将接收到的结果数据存储到指定库中。 |
|---|---|
| 输出 | 没有输出端口。 |
参数配置
关系目标源（追加）的参数：
关系目标源（覆盖）的参数：
关系目标源（覆盖）的参数：关系目标源（插入或更新）的参数：
设置说明如下：
| 参数 | 说明 |
| 数据源 | 选择数据源，这些数据源是在Smartbi中连接的关系数据源。 |
| SCHEMA | 在选择的数据源中选择SHEMA。 |
| 表名 | 选择表。选择数据源和SCHEMA之后，可以选择 |
| 保存模式 |
|
|
导出数据到HDFS
概述
导出数据到HDFS是指将结果数据保存到HDFS中。
输入输出
| 输入 | 只有一个输入端口，用于将接收到的结果数据存储到HDFS中。 |
|---|---|
| 输出 | 没有输出端口。 |
参数配置
设置导出数据到HDFS的参数：
设置说明如下：
| 参数 | 说明 |
| IP和端口 | 目标HDFS的路径的IP和端口：<ip>:<port>； 示例：10.10.202.26:9000。 |
| 文件名 | 存储到HDFS的数据文件名。 |
| HDFS用户名 | HDFS用户名。 |
| HDFS web端口 | HDFS web端口，默认是50070。 |
