python数据分析——认识GBR梯度提升回归模型

科技前沿 • 2025-03-19 22:33 • 阅读 34

大家好，我是讯享网，很高兴认识大家。

GBR——Gradient boosting regression——梯度提升回归模型

目录

1 Boosting

集成学习，Boosting与Bagging的区别

2 Gradient Boosting算法

算法思想，算法实现，残差与负梯度

3 终极组合GBR

1 Boosting

Boosting是一种机器学习算法，常见的机器学习算法有：

决策树算法、朴素贝叶斯算法、支持向量机算法、随机森林算法、人工神经网络算法

Boosting与Bagging算法（回归算法）、关联规则算法、EM（期望最大化）算法、深度学习

背景

我们希望训练得到的模型是一个各方面都稳定表现良好的模型，但是实际情况中得到的却是仅在某方面偏好的模型。集成学习则可以通过多个学习器相结合，来获得比单一学习器更优越的泛化性能。

原理

一般集成学习会通过重采样获得一定数量的样本，然后训练多个弱学习器，采用投票法，即“少数服从多数”原则来选择分类结果，当少数学习器出现错误时，也可以通过多数学习器来纠正结果。

分类

1）个体学习器之间存在较强的依赖性，必须串行生成学习器：boosting类算法；

2）个体学习器之间不存在强依赖关系，可以并行生成学习器：Bagging类算法

Boosting

是一种通用的增强基础算法性能的回归分析算法。它可以将弱学习算法提高为强学习算法，可以应用到其它基础回归算法，如线性回归、神经网络等，来提高精度。

Boosting由于各基学习器之间存在强依赖关系，因此只能串行处理，也就是说Boosting实际上是个迭代学习的过程。

Boosting的工作机制为：

1) 先从初始训练集中训练出一个基学习器，再根据基学习器的表现对训练样本分布进行调整，使得先前基学习器处理不当的样本在后续的训练过程中受到更多关注；