<p id="0Q73207N">Boosting 是一种松散的策略，它将多个简单模型组合成一个复合模型。 这个想法的理论来自于随着我们引入更多的简单模型，整个模型会变得越来越强大。 在 boosting 中，简单模型称为弱模型或弱学习器。 在回归的背景下，第一个简单模型只是一个常数，而随后的简单模型是“回归树”。</p><p class="f_center"><img src="https://nimg.ws.126.net/?url=http%3A%2F%2Fdingyue.ws.126.net%2F2022%2F0418%2Fcef20e22p00raiio10006d000as003up.png&thumbnail=660x&quality=80&type=jpg"/><br/></p><p id="0Q73207P">什么是回归树呢？它是用于回归的决策树！最简单通俗的解释就是决策树是一些if语句组成的树型结构，这些if的判断条件并不是我们人工手动指定的而是通过使用数据训练自动生成的。</p><p class="f_center"><img src="https://nimg.ws.126.net/?url=http%3A%2F%2Fdingyue.ws.126.net%2F2022%2F0418%2F6249d0baj00raiio2000sd000i2009zp.jpg&thumbnail=660x&quality=80&type=jpg"/><br/></p><p id="0Q73207R">梯度提升通过将一个个回归树进行整合可以使模型预测变得更好</p><p class="f_center"><img src="https://nimg.ws.126.net/?url=http%3A%2F%2Fdingyue.ws.126.net%2F2022%2F0418%2F211da0b0j00raiio3001id000sf00d2p.jpg&thumbnail=660x&quality=80&type=jpg"/><br/></p><p id="0Q73207T">通过下图的执行流程整个过程构成了解决回归问题的基本架构</p><p class="f_center"><img src="https://nimg.ws.126.net/?url=http%3A%2F%2Fdingyue.ws.126.net%2F2022%2F0418%2F33b87889j00raiio5001ld000si00bzp.jpg&thumbnail=660x&quality=80&type=jpg"/><br/></p><p id="0Q73207V">最后总结：</p><p id="0Q">1、通过简单的最小化得到“最弱的学习者”。 通常情况下，最弱的学习者是我们训练最终学习者的数据集中所有值的平均值</p><p id="0Q">2、然后根据需要向最弱的学习器添加尽可能多的回归树，并在添加这些回归树学习器时改进预测（计算类似于梯度下降中的学习率的乘数，并且该乘数与回归树相乘）</p><p id="0Q">3、 一旦获得了足够数量的树，就会计算整合成最终的“强学习器”。</p><p id="0Q">https://www.overfit.cn/post/bca1ccbb11ce</p><p id="0Q">作者：Saumik Dana</p> 讯享网
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容，请联系我们，一经查实，本站将立刻删除。
如需转载请保留出处：https://51itzy.com/kjqy/156763.html