2025年梯度提升树回归模型（梯度提升树原理）

科技前沿 • 2025-05-08 21:46 • 阅读 49

大家好，我是讯享网，很高兴认识大家。

 <svg xmlns="http://www.w3.org/2000/svg" style="display: none;"> <path stroke-linecap="round" d="M5,0 0,2.5 5,5z" id="raphael-marker-block" style="-webkit-tap-highlight-color: rgba(0, 0, 0, 0);"></path> </svg>

讯享网

梯度提升回归树是区别于随机森林的另一种集成方法，它的特点在于纠正与加强，通过合并多个决策树来构建一个更为强大的模型。

该模型即可以用于分类问题，也可以用于回归问题中。

梯度提升回归树与随机森林的方法不同，梯度提升采用连续的方式构造树，每颗树都试图纠正前一颗树的错误，也可称为弱学习器。

三个重要参数

在该模型中，有三个重要参数分别为 n_estimators(子树数量)、learning_rate(学习率)、max_depth(最大深度)。

子树数量 n_estimators

通常用来设置纠正错误的子树数量，梯度提升树通常使用深度很小(1到 5之间)的子树，即强预剪枝，来进行构造强化树。

并且这样占用的内存也更少，预测速度也更快。

学习率 learning_rate

通常用来控制每颗树纠正前一棵树的强度。

讯享网

较高的学习率意味着每颗树都可以做出较强的修正，这样的模型普遍更复杂。

最大深度 max_depth

通常用于降低每颗树的复杂度，从而避免深度过大造成过拟合的现象。

梯度提升模型的 max_depth 通常都设置得很小，一般来讲不超过5。

GradientBoostingClassifier类的应用

下面是在乳腺癌数据集上应用sklearn.ensemble包GradientBoostingClassifier类的示例。

默认参数

默认使用100颗树，最大深度为3，学习率为0.1。

讯享网

可见训练集的预测准确度为 100%，测试集的准确度为 96.5%, 存在过拟合现象，接下来微调参数。

降低最大深度 max_depth

讯享网

可见，测试集性能有所提升，训练集性能有所降低，泛化能力加强。

降低学习率 learning_rate

讯享网

可见，训练集与测试集预测准确度都有所下降，且泛化能力无明显加强，故学习率取默认值较好。

特征重要性分析

我们可以将梯度提升回归树的特征重要性可视化，便于更好地理解模型。

讯享网

在这里插入图片描述

可以看到，梯度提升树的特征重要性与随机森林的特征重要性有些类似，不过梯度提升树完全忽略了某些特征。

优、缺点

梯度提升决策树是监督学习中最强大也是最常用的模型之一。

该算法无需对数据进行缩放就可以表现得很好，而且也适用于二元特征与连续特征同时存在的数据集。

缺点是需要进行仔细调参，且训练时间可能较长，通常不适用于高维稀疏数据。