页面树结构

版本比较

标识

  • 该行被添加。
  • 该行被删除。
  • 格式已经改变。

多分类算法表示分类的目标标签为两类或者两类以上。

逻辑回归

Wiki 标记
{html}<div style="border-bottom: 0.5px solid #dfe1e5;color:#2D5C8C;padding-bottom: 0.5px;font-size: 24px; height: 5px;">&nbsp;</div>{html}

概述

逻辑回归是一种分类算法,它进行分类的主要思想是:根据现有数据对分类边界线建立回归公式(寻找到最佳的拟合直线),以此进行分类。简单来说,它就是利用Logistic函数拟合数据来预测某一个事件发生的概率。

该算法可用于二元及多元分类问题,是分类算法的经典算法。对于二分类问题,算法输出一个二元逻辑回归模型。对于多分类问题,算法会输出一个多维逻辑回归模型。

面板
borderColor#BBBBBB
bgColor#F0F0F0
borderWidth1
borderStylesolid

目录

示例

使用“银行零售客户流失”案例数据,包含17个特征列和1个二类的目标标签。需要对银行客户预测是否流失。通过数据预处理及模型训练,如下图:

其中,特征离散是将年龄、卡龄等数据离散化,是为了提高模型的准确度,提高运行速度。

逻辑回归的参数如下:

参数名称

说明

归一化

正则化

详情请参考 归一化 介绍说明。

标准化

最小最大值归一化

最大绝对值归一化

最大迭代数

参数范围为:>=0的整数,默认值为10

算法的最大迭代次数,达到最大迭代次数即退出。

最大迭代次数的值越大,模型训练更充分,但会耗费更多时间。

混合参数

参数范围为:[0,1]的数,默认值为0

控制惩罚类型,平方误差损失函数中的 ρ,参数范围为:[0,1]的数。其中:0表示L2惩罚,1表示L1惩罚,0~1表示L1和L2惩罚的结合。

对模型系数惩罚(或称正则化)可减少模型过拟合。

正则参数

参数范围为:>=0的数,默认值为 :0

正则项系数,损失函数中的 。

正则化可以解决模型训练中的过拟合现象;

正则项系数越大,模型越不会过拟合。

收敛阈值

参数范围为:>=0的数,默认值为 :0.000001

收敛误差值。

收敛误差值,当损失函数取值优化到小于收敛阈值时停止迭代。

分类阈值

参数范围为:>=0的数,请用英文逗号隔开,且数量与分类数相同。默认值为:0.5。分类数按从0到标签的最大值计算。

在二进制分类中设置阈值thresholds。

如果模型预测结果为分类标签1的估计概率>thresholds,则预测为1,否则为0。高阈值是鼓励模型更频繁地预测0,反之则预测为1。

自动调参设置

系统默认的各项参数值范围。

必须结合“启用自动调参”功能使用。系统将对这些范围内的参数值循环调参,匹配出最优的组合。若运行速度比较慢,可将参数范围调小点。

启用自动调参: 勾选该项,则系统自动调参数,不需要用户手工设置参数。

朴素贝叶斯

Wiki 标记
{html}<div style="border-bottom: 0.5px solid #dfe1e5;color:#2D5C8C;padding-bottom: 0.5px;font-size: 24px; height: 5px;">&nbsp;</div>{html}

概述

 

一种基于概率网络的分类算法,它在朴素贝叶斯定理的基础上取消了关于各属性关于类标号条件独立的苛刻条件,通过各类的先验概率计算待分类样本的后验概率,得到测试样本属于各类别的概率。它对于解决复杂设备不确定性和关联性引起的故障有很大的优势。

示例

使用“城市功能区识别”案例数据,预测城市功能区为专营商业区还是购物中心商业区两类。

其中派生列是为了衍生新的特征方便模型训练效果。

朴素贝叶斯的参数如下:

参数名称

说明

模型类型

Multinomial

表示多项式,此选项为默认选项。

Bernoulli

表示伯努力。对于小数量级的文本数据比较有优势。

选bernoulli需要特征转化成0和1

分类阈值

必填

多分类请用英文逗号隔开,且数量与分类数相同,例如:分三类,示例:8,9,10

决策树

Wiki 标记
{html}<div style="border-bottom: 0.5px solid #dfe1e5;color:#2D5C8C;padding-bottom: 0.5px;font-size: 24px; height: 5px;">&nbsp;</div>{html}

概述

决策树是一种常用的分类算法,它是一种树形结构,其中每个内部节点表示一个属性上的测试,每个分支代表一个测试输出,每个叶节点代表一种类别。根节点到每个叶子节点均形成一条分类的路径规则。而对新的样本进行测试时,只需要从根节点开始,在每个分支节点进行测试,沿着相应的分支递归地进入子树再测试,一直到达叶子节点,该叶子节点所代表的类别即是当前测试样本的预测类别。

优势:可直接查看决策树分析的可视化效果,如下图:

示例

使用“糖尿病预测”案例数据,预测是否有糖尿病。

特征转换是为了将各变量中的类别型变量变换成数值型变量,类别型无法进入模型,转换后方便算法模型学习;

决策树的参数如下:

参数名称

说明

分裂特征的数量

取值范围:>=2的整数; 默认值:32。

对连续类型特征进行离散时的分箱数;

该值越大,模型会计算更多连续型特征分裂点且会找到更好的分裂点,但同时也会增加模型的计算量;

树的深度

取值范围:[1,30]的整数;默认值为4。

当模型达到该深度时停止分裂;

树的深度越大,模型训练的准确度更高,但同时也会增加模型的计算量且会导致过拟合;

计算信息增益的方式

gini

裂分标准,Entropy表示熵值,Gini表示基尼指数;

entropy

随机森林

Wiki 标记
{html}<div style="border-bottom: 0.5px solid #dfe1e5;color:#2D5C8C;padding-bottom: 0.5px;font-size: 24px; height: 5px;">&nbsp;</div>{html}

概述 

随机森林指的是利用多棵树构成森林对样本进行训练并预测的一种分类器。但是每棵决策树之间没有关联,每棵树都是基于随机抽取的样本和特征进行独立训练。

随机森林算法广泛应用于分类问题。其是决策树的组合,将许多决策树联合到一起,以降低过拟合的风险。随机森林支持连续数据或离散数据进行二分类或多分类。

优势:可反映出特征重要性。

示例

使用“垃圾短信识别”案例数据,预测是否为垃圾短信。

其中,分词是为了将短信文本进行分成词语方便分析;停用词处理是为了去除不必要的词语、标点符号、语气词等;TF-IDF是为了计算文本数据的idf值,方便进入模型训练。

随机森林的参数如下:

参数名称

说明

分裂特征的数量

取值范围:>=2的整数; 默认值:32。

对连续类型特征进行离散时的分箱数;

该值越大,模型会计算更多连续型特征分裂点且会找到更好的分裂点,但同时也会增加模型的计算量;

树的深度

取值范围:[1,30]的整数;默认值为4。

当模型达到该深度时停止分裂;

树的深度越大,模型训练的准确度更高,但同时也会增加模型的计算量且会导致过拟合;

树的个数

取值范围:>=1的整数。默认值为20。

随机森林中决策树的棵数。

衡量准则

gini

裂分标准,Entropy表示熵值,Gini表示基尼指数;

entropy