文章最前： 我是Octopus，这个名字来源于我的中文名--章鱼；我热爱编程、热爱算法、热爱开源。所有源码在我的个人github ；这博客是记录我学习的点点滴滴，如果您对 Python、Java、AI、算法有兴趣，可以关注我的动态，一起学习，共同进步。
目录
1. 基于梯度的单侧采样（GOSS）
2. 基于直方图的树节点分裂
3. 分类特征的最优分割
4. 独家功能捆绑
5. Leaf-wise 树生长策略
6. 并行优化
7.总结
LightGBM是微软于2016年开发的梯度提升决策树模型（GBDT），与其他GBDT模型相比，LightGBM的最大特点是训练效率更快、准确率更高。
LightGBM 与一般的 Gradient Boosting Decision Tree 模型在结构上没有根本的区别，但通过以下特殊技术，LightGBM 使其训练速度更快。
- 基于梯度的一侧采样（GOSS）
- 树节点分裂中基于直方图的**值搜索
- 分类特征的**分割
- 独家功能捆绑
- 叶向树生长策略
- 并行优化
1. 基于梯度的单侧采样（GOSS）
经典的基于树的梯度提升（GBDT）训练是一个重复过程，用于训练新树以适应所有训练集实例上先前树集的预测误差。（预测误差是所有训练集实例上的损失函数梯度）
因此，默认情况下，GBDT 使用所有训练集实例来训练其集合中的每棵树。
针对这一点，LightGBM引入了GOSS，其中我们只需要使用部分训练集来训练每个集成树。
- 具有大梯度的训练实例意味着该实例具有较大的当前预测误差，并且应该是适合下一个集成树的主要目标
- 小梯度的训练实例意味着该实例当前的预测误差相对较小，不需要下一个集成树过多担心，因此我们可以以某种概率丢弃它。
一般来说，GOSS的主要思想是，在训练下一个集成树之前，我们保留梯度较大的训练实例，并丢弃一些梯度较小的训练实例。
下图为GOSS算法。
所有训练实例均按梯度排序，a表示大梯度实例的采样百分比，b表示小梯度实例的采样百分比。
通过使用 GOSS，我们实际上减少了训练下一个集成树的训练集的大小，这将使训练新树的速度更快。
2. 基于直方图的树节点分裂
在寻找**特征值来分割树节点时，LightGBM使用特征值直方图，并尝试所有直方图bin值，而不是尝试所有可能的特征值，因此可以减少寻找**特征吐出值的时间和计算量。顺便说一下，LightGBM 的分割标准是减少从父级到子级的梯度方差。
例如，给定下面的年龄特征，将直方图离散特征值放入不同的范围箱中，因此我们可以使用像Age⩽30，Age⩽40，，，，Age⩽100这样的吐槽标准，而不是尝试像Age这样的所有可能的年龄值⩽31、年龄⩽32 等
用bin来替换原始数据相当于增加正则化，bin的数量决定了正则化的程度。bin 越小，惩罚越严重，欠拟合的风险越高。
同样在树分裂场景中，对于给定的特征，直方图是可加的
父节点直方图 = 左子直方图 + 右子直方图
因此，在计算子直方图时，我们只需要计算一个子直方图（选择较小尺寸的子直方图），另一子直方图是父直方图减去计算得到的直方图。
3. 分类特征的最优分割
通常，在处理树节点分裂中的分类特征时，我们总是使用One Vs Rest作为节点分裂规则，例如分裂条件是“Weather = Sunny” vs “All other Weather (Rainy, Cloudy, Snowy etc)”。一般来说，这一“一对一”策略的问题是
- 它往往会在子节点中生成不平衡的数据点分配（例如左子节点比右子节点分配更多的数据点）并且需要增长得很深才能获得良好的准确性
- 由于需要生长很深的树，需要多次节点分裂，所以建树效率很低。
受这些问题的启发，LightGBM 采用了如下多对多策略。
对于给定的分类特征
- 对于特征的每个类别，计算平均值 Sum(y)/Count(y)
- 按平均值对所有类别进行排序（如下图所示）。
- 从最低平均值到最大平均值枚举分割值，以找到**分割值。分裂值将所有类别分为两部分（类别均值小于或大于分裂值），这就是节点分裂条件。
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容，请联系我们，一经查实，本站将立刻删除。
如需转载请保留出处：https://51itzy.com/kjqy/20581.html