Ridge-Regression

https://youtu.be/Q81RR3yKn30

例子

数据集里面,训练集训出来的模型在测试集上效果不好。这是因为数据没有很好的代表性,把斜率带偏了。

所以要把模型调整一下

具体例子

在这个例子里面,通过加上正则项,使得最后的结果斜率更低。

作用原理解释

如果是参数比较大,自变量的变化会导致因变量变化很大。所以要对参数限制。

得到的模型斜率比较低,所以预测结果对于斜率的敏感性比较低。

在ridge regression里面,如果要求截距也是很小,就会导致0点处基本为0。所以不会这样要求。

数据个数说明

普通的线性回归的数据量应该大于参数量,但是用Ridge Regression可以在数据量很少的时候进行计算。