线性回归(Linear Regression)

0 - 基本问题

  线性回归考虑的是有$n$个样本$\{\mathbf{x}_1,\mathbf{x}_2,\cdots,\mathbf{x}_n\}$,每一个样本对应$m+1$维特征$\mathbf{x}_i=\{x_{i0},x_{i1},x_{i2},\cdots,x_{im}\}$(其中$x_{i0}=1$),记为$\mathbf{X}_{n\times (m+1)}$,且每一个样本都一个对应的结果输出,记为$\mathbf{y}_{n}$。需要找到参数$\mathbf{w}_{m+1}$,构造如下模型,

$$
\mathbf{y}=\mathbf{X}\mathbf{w}=\begin{pmatrix}\mathbf{x}_0\\ \mathbf{x}_1\\ \vdots\\ \mathbf{x}_m\end{pmatrix}\begin{pmatrix}w_0\ w_1\ \cdots\ w_m\end{pmatrix},
$$

拟合出来的结果与真实目标之间的误差可以表示如下,

$$
J(\mathbf{w})=\frac{1}{2}\left(\mathbf{X}\mathbf{w}-\mathbf{y}\right)^T\left(\mathbf{X}\mathbf{w}-\mathbf{y}\right),
$$

其中,加入参数因子$\frac{1}{2}$是为了求导方便。

1 - 求解方法

1.1 - 最小二乘法

1.2 - MLE

1.3 - 梯度下降法

2 - 线性回归的推广

3 - 正则化

3.1 - L1正则化(Lasso)

3.2 - L2正则化(Ridge,岭回归)

4 - 参考资料

https://www.cnblogs.com/huangyc/p/9782821.html

https://blog.csdn.net/ccnt_2012/article/details/81127117

相关文章
相关标签/搜索