页面树结构
转至元数据结尾
转至元数据起始

正在查看旧版本。 查看 当前版本.

与当前比较 查看页面历史

« 前一个 版本 4 下一个 »

概述

派生列节点是用于在数据集中生成可行的新特征字段。它可对现有数据的某个特征操作,允许用户自定义生成特征名称,并将生成的新特征字段添加到原数据集中。

输入/输出

输入

一个输入端口,用于接收数据集。

输出

一个输出端口,用于输出派生列的结果。

参数设置

设置派生列的参数:

设置说明如下:

参数
说明
添加/编辑表达式选择对应的函数和字段,拖入添加/编辑表达式区。
新增表达式

添加/编辑表达式完成后,输入派生列名,单机 增加 按钮添加表达式到列表。

修改已定义的派生列列名在列表区选择表达式,单击 修改 按钮后,修改列名再单击 增加 按钮。

目前派生列支持的函数有:

函数表达式
说明
累积sum(<column>) over(partition by <columns> order by <columns>)

对数字型字段进行累计计算。

字符拼接(拼接符)

concat_ws("sep",str1,str2,...,strN)

通过sep连接符将字符串拼接。Sep由用户自定义。Str:表示连接的字符。

字符拼接

concat(str1, str2, ..., strN)

不需要连接符,直接将字符串连接。Str:表示连接的字符。
字符截取substring(<column>, pos[, len])

从字段中截取指定位置的len个字符。<column>:表示截取的字段;Pos:表示从第几个位置开始截取,设置为正整数;Len:表示一共取多少个字符,设置为正整数。

小数点保留format_number(<column>, num)

保留浮点型字段小数点位数。<column>:表示蛇者小数点位数的字段。Num:表示小数点后保留的位数,设置为0和正整数。

内容提取(年)

year(<column>)

获取时间字段中的年信息。<column>:表示截取的字段。
内容提取(月)month(<column>)获取时间字段中的月信息。<column>:表示截取的字段。
内容提取(日)day(<column>)获取时间字段中的日信息。<column>:表示截取的字段。
内容提取(时)hour(<column>)获取时间字段中的时信息。<column>:表示截取的字段。
内容提取(分)minute(<column>)获取时间字段中的分信息。<column>:表示截取的字段。
内容提取(秒)second(<column>)获取时间字段中的秒信息。<column>:表示截取的字段。
向上取整ceiling(<column>)获取大于或等于取整字段的最小整数。<column>:表示取整的字段。
向下取整floor(<column>)获取小于或等于取整字段的最大整数。<column>:表示取整的字段。
四舍五入round(<column>)获取四舍五入后的整数。<column>:表示四舍五入的字段。

示例

1、原先文本数据源有1000条数据,想要获取Date字段中关于年份的信息,选择派生列节点,表达式为“year(Date)”。

2、输出结果如图:

  • 无标签