页面树结构
转至元数据结尾
转至元数据起始

概述

梯度提升回归树是梯度提升树算法,原理是训练多棵回归树,每棵树建立是基于前一课树的残差,基函数为CART树,损失函数为平方损失函数的回归算法。

示例

使用“波士顿房价预测”案例数据,预测波士顿房价。

其中,相关性分析是为了分析特征变量与目标变量的相关性系数,方便特征选择进入模型训练。

梯度提升回归树参数如下:

参数名称

说明

归一化

正则化

详情请参考 归一化 介绍说明。

标准化

最小最大值归一化

最大绝对值归一化

分裂特征的数量

取值范围:>=2的整数; 默认值:32。

对连续类型特征进行离散时的分箱数;

该值越大,模型会计算更多连续型特征分裂点且会找到更好的分裂点,但同时也会增加模型的计算量;

树的深度

取值范围:[1,30]的整数;默认值为4。

当模型达到该深度时停止分裂;

树的深度越大,模型训练的准确度更高,但同时也会增加模型的计算量且会导致过拟合;

计算信息增益的方式

gini

裂分标准,Entropy表示熵值,Gini表示基尼指数;

entropy