回归算法常用于股票预测、房价预测等线性增长的问题场景。
梯度提升回归树
概述
梯度提升回归树是梯度提升树算法,原理是训练多棵回归树,每棵树建立是基于前一课树的残差,基函数为CART树,损失函数为平方损失函数的回归算法。
示例
使用“波士顿房价预测”案例数据,预测波士顿房价。
其中,相关性分析是为了分析特征变量与目标变量的相关性系数,方便特征选择进入模型训练。
梯度提升回归树参数如下:
参数名称 | 值 | 说明 |
---|---|---|
归一化 | 正则化 | 详情请参考 归一化 介绍说明。 |
标准化 | ||
最小最大值归一化 | ||
最大绝对值归一化 | ||
分裂特征的数量 | 取值范围:>=2的整数; 默认值:32。 | 对连续类型特征进行离散时的分箱数; 该值越大,模型会计算更多连续型特征分裂点且会找到更好的分裂点,但同时也会增加模型的计算量; |
树的深度 | 取值范围:[1,30]的整数;默认值为4。 | 当模型达到该深度时停止分裂; 树的深度越大,模型训练的准确度更高,但同时也会增加模型的计算量且会导致过拟合; |
计算信息增益的方式 | gini | 裂分标准,Entropy表示熵值,Gini表示基尼指数; |
entropy |
线性回归
概述
一种常用的回归方法,它是利用数理统计中回归分析,来确定两种或两种以上变量间相互依赖的定量关系的一种统计方法,通过凸优化的方法进行求解,以达到预测评估的效果。
示例
使用“波士顿房价预测”案例数据,预测波士顿房价。
其中,相关性分析是为了分析特征变量与目标变量的相关性系数,方便特征选择进入模型训练。
线性回归的参数如下:
参数名称 | 值 | 说明 |
---|---|---|
归一化 | 正则化 | 详情请参考 归一化 介绍说明。 |
标准化 | ||
最小最大值归一化 | ||
最大绝对值归一化 | ||
最大迭代数 | 参数范围为:>=0的整数,默认值为10 | 算法的最大迭代次数,达到最大迭代次数即退出。 最大迭代次数的值越大,模型训练更充分,但会耗费更多时间。 |
混合参数 | 参数范围为:[0,1]的数,默认值为0 | 控制惩罚类型,平方误差损失函数中的 ρ,参数范围为:[0,1]的数。其中:0表示L2惩罚,1表示L1惩罚,0~1表示L1和L2惩罚的结合。 对模型系数惩罚(或称正则化)可减少模型过拟合。 |
正则参数 | 参数范围为:>=0的数,默认值为 :0。 | 正则项系数,损失函数中的 。 正则化可以解决模型训练中的过拟合现象; 正则项系数越大,模型越不会过拟合。 |
epsilon | 参数范围为:>1的数。默认值为1.35 | huber损失函数中的 δ ;调节损失函数,用于控制算法模型的健壮性; epsilon 越大,损失函数对异常点惩罚就越大,也就是对异常点越敏感; |
收敛阈值 | 参数范围为:>=0的数,默认值为 :0.000001。 | 收敛误差值。 收敛误差值,当损失函数取值优化到小于收敛阈值时停止迭代。 |
损失函数 | squaredError | 可待优化的损失函数,用于衡量模型的输出值和真实值之间的差距。 squaredError表示平方误差,huber表示平滑平均绝对误差。 |
huber |