梯度提升回归算法(梯度下降法求回归方程)

梯度提升回归算法(梯度下降法求回归方程)点击上方蓝色文字关注我们吧 线性回归方程 设有 n 个样本 xi yi i 1 2 n 散点图大致呈线性 拟合的直线方程为 方程中的系数为 其中样本 x 和 y 的平均值为 系数的推导 上述公式仅是回归方程的定义 各类考试一般都是直接给出 而实际应用都采用下述公式 在现行高中数学课本是没有推导过程的 我们下面来进行推导 首先证明变形后的两个公式 对于分子有 对于分母有

大家好,我是讯享网,很高兴认识大家。




讯享网

点击上方蓝色文字关注我们吧~

[线性回归方程]设有n个样本(xi,yi)(i=1,2,…,n),散点图大致呈线性。拟合的直线方程为

方程中的系数为,

其中样本x和y的平均值为,

[系数的推导]上述公式仅是回归方程的定义,各类考试一般都是直接给出。而实际应用都采用下述公式,

在现行高中数学课本是没有推导过程的。我们下面来进行推导。

首先证明变形后的两个公式。

对于分子有,

对于分母有, 

[方程的推导]接着推导线性回归方程本身。

对于假定的回归方程,如果直接用偏差进行评估,由于偏差有正有负,会相互抵消,所以不能反映采样点与回归方程的接近程度。因此采用n个样本点的平方和进行估计,

当该平方和最小时,就求出了回归方程。因此这种方法又被称为最小二乘估计(LSE, Least Square Estimate)。

将Q展开,并整理有,

然后转化为平均数,有

a进行配方,有,

最后整理,得

再利用前述的公式,进行变形,得

进一步整理,并配方,有

上式中,前两项为与a,b有关非负项的和,后两项与a,b无关。因此若使得Q最小,令前两项为0即可。即,

将第一项变形,有,

即得所证。



往期精选

高中数学数形结合思想必考题型全梳理(附例题)

高中数学三年8大重点模块公式&概念汇总,做题不用再翻书!

公式整理:三角函数公式大全,收藏

扫描二维码关注我

小讯
上一篇 2025-06-07 09:20
下一篇 2025-06-03 18:33

相关推荐

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容,请联系我们,一经查实,本站将立刻删除。
如需转载请保留出处:https://51itzy.com/kjqy/143717.html