八种常见回归算法解析及代码

大家好，我是讯享网，很高兴认识大家。

讯享网

一、线性回归

1、最小二乘法 -导数/偏导为0求参数

最小二乘法求解参数优缺点

2、迭代求解参数-梯度下降、坐标轴下降、最小角回归

2.1使用梯度下降-对回归系数中w的每个元素分别求偏导并乘以学习率，迭代更新w

2.1.1批量梯度下降：每次迭代依据全体样本的误差结果更新回归系数

2.1.2随机梯度下降：每次迭代依据某个样本的误差结果更新回归系数

2.1.3小批量梯度下降：每次迭代依据部分样本的误差结果更新回归系数

2.2.1坐标轴下降法和梯度下降法的区别

2.3、使用最小角回归求解

2.4、梯度下降、坐标下降优缺点

3、线性回归特点

二、局部加权线性回归：本质线性回归，局部平滑

局部加权线性回归与线性回归区别

局部加权线性回归优缺点

三、多项式回归：数据升维+线性回归

多项式回归优缺点

四、逻辑回归：本质线性回归，用于分类

适用于逻辑回归的场景：

构建目标函数

逻辑回归正则化

逻辑回归优缺点

五、岭回归：最小二乘法+惩罚项( L2正则化项)

1、使用标准方程求解参数

2、使用梯度下降求解参数

3、回归系数与log(λ)的关系，平方误差与log(λ)的关系

4、岭回归优缺点

六、Lasso回归：最小二乘法+惩罚项( L1正则化项)

1、使用标准方程求解参数

2、使用坐标下降求解参数

3、次梯度

4、回归系数与log(λ)的关系

5、Lasso回归优缺点

七、弹性网络回归：最小二乘法+L2正则化项+L1正则化项)

1、回归系数与 log(λ)的关系（β=0.5）

2、残差与 log(λ)的关系

八、逐步回归

1、向前选择

2、向后剔除

3、逐步回归

4、逐步回归优缺点

九、评价指标

十、代码

一、线性回归

直观地描述就是通过线性方程去拟合数据点，如下图所示

但是如何使用该线性方程去拟合数据点呢？我们能得到拟合的整体误差，即图中蓝色线段的长度总和。如果某一条直线对应的整体误差值最小，就代表这条直线最能反映数据点的分布趋势：误差如何表示？在线性回归中，使用残差的平方(RSS)和来表示所有样本点的误差，也叫平方损失函数，如下所示：

求出最优参数 $w^{*}$ 使得，使得平方损失函数 $J(w^{*})$ 最小时，可以使得线性方差**拟合数据点。

如下目标函数所示，如何求解最优参数w*？

1、最小二乘法 -导数/偏导为0求参数

使用最小二乘法即标准线性回归方程求解，最小二乘法是用于求解线性回归拟合参数 w 的一种常用方法。通过标准方程求出最优参数 $w^{*}$ ，过程解析如下所示：

注意：标准方程涉及矩阵求逆 $x^{T}x$ ，如果该矩阵是个奇异矩阵(奇异矩阵==非满秩矩阵)，则无法对其进行求解。那么什么情况下该矩阵会有奇异性呢?

对于上面的两种情况，我们需要对最初的标准线性回归做一定的变化使原先无法求逆的矩阵变得非奇异(满秩)，使得问题可以稳定求解。我们可以通过缩减的方式来处理这些问题例如岭回归和LASSO。

最小二乘法求解参数 $w^{*}$ 优缺点

优点：

计算复杂度低，对于小数据集，计算速度快
简单明了

缺点：

对于普通最小二乘的系数估计问题，其依赖于模型各项特征的相互独立性
当数据集各列特征是相关的，或者各列近似线性相关，那么矩阵会趋向于奇异矩阵(非满秩)，这会导致最小二乘估计对于随机误差非常敏感，产生很大的残差。
由于每一个样本都对应相同的回归系数，易出现欠拟合现象

最小二乘法求解参数 $w^{*}$ 适用场景：

适用于数据集较小时，可以通过标准方程一步就能求出参数。但当数据集很大时，计算速度就会变得很慢(因为过程设计求逆)。

2、迭代求解**参数 $w^{*}$** -梯度下降、坐标轴下降、最小角回归

当数据集较小时，可以通过标准方程一步就能求出参数w，但当数据集很大时，计算速度就会变得很慢(求逆)，这个时候可以通过迭代逐步求解 $w^{*}$ 。

2.1使用梯度下降-对回归系数中w的每个元素分别求偏导并乘以学习率，迭代更新w

如下所示，对回归系数中w的每个元素分别求偏导乘以学习率(控制参数更新幅度)，迭代更新w，直到到达**解(最优解/局部最优解)

2.1.1批量梯度下降：每次迭代依据全体样本的误差结果更新回归系数

迭代：，直到迭代次数达到最大要求或者参数集合内的数值更新前后无明显变化则停止迭代。 η：学习率。

2.1.2随机梯度下降：每次迭代依据某个样本的误差结果更新回归系数

迭代：，直到迭代次数达到最大要求或者参数集合内的数值更新前后无明显变化则停止迭代。

2.1.3小批量梯度下降：每次迭代依据部分样本的误差结果更新回归系数

迭代：，直到迭代次数达到最大要求或者参数集合内的数值更新前后无明显变化则停止迭代。

2.2、 使用 坐标轴下降求解： 对回归系数中 w 的每个元素求 偏导为0时的极值点( $w_{j}^{*}$ )后 迭代更新 回归系数

八种常见回归算法解析及代码

一、线性回归

1、最小二乘法 -导数/偏导为0求参数

最小二乘法求解参数优缺点

2、迭代求解参数-梯度下降、坐标轴下降、最小角回归

2.1使用梯度下降-对回归系数中w的每个元素分别求偏导并乘以学习率，迭代更新w

2.1.1批量梯度下降：每次迭代依据全体样本的误差结果更新回归系数

2.1.2随机梯度下降：每次迭代依据某个样本的误差结果更新回归系数

2.1.3小批量梯度下降：每次迭代依据部分样本的误差结果更新回归系数

相关推荐

最小二乘法求解参数 $w^{*}$ 优缺点

2、迭代求解**参数 $w^{*}$** -梯度下降、坐标轴下降、最小角回归