东莞市盛裕绒艺玩具有限公司

东莞市盛裕绒艺玩具有限公司

优优最新网址

15335629669
联系方式
全国服务热线: 15335629669

咨询热线:15125888363
联系人:赵宗泥
地址:济南市闵子骞路19号

初识机器学习——吴恩达《Machine Learning》学习笔记(七)

来源:优优最新网址   发布时间:2019-11-13   点击量:155

正则化(Regularization)

过拟合问题(The problem of overfitting)

欠拟合(underfitting):算法没有很好地拟合训练数据,具有高偏差(high bias)。

过拟合(overfitting):很好的拟合了数据集,具有高方差。变量太多的时候会出现,数据集不足以约束模型。只能针对现有数据集拟合,对新样本就不拟合了。使用过多的特征来拟合预测(假设)函数时,得到的预测函数可能对训练集求得的代价都是非常小的,但是却无法对新的样本进行预测,即泛化能力弱。当变量过多,而训练集很少时,这时往往会出现过拟合问题。不仅在线性回归中会出现,在逻辑回归中也会出现。

 如何避免过拟合?

减少特征变量,正则化

代价函数(Cost Function)

在代价函数中加入正则化项,以前的误差平方起拟合数据的作用,加入的正则化项起调节过拟合的作用,两者间找到一个平衡。为防止出现过度正则化,正则化参数λ的选择必须合适,不能非常大。当惩罚项的λ设置得过大,会导致偏差特别高,此时的theta值除了theta(0)之外几乎接近于0,出现欠拟合现象。

 

线性回归的正则化( Regularized linear regression)

线性回归之梯度下降法(正则化)

 

线性回归之正规方程(正则化)

Logistic回归的正则化(Regularization logistic regression)

Logistic回归之梯度下降法(正则化)

与线性回归的相类似,只是假设函数不一样,具体做法请参考上面线性回归之梯度下降法(正则化)

高级算法(正则化)

具体在Octave做法请参考https://www.cnblogs.com/haifengbolgs/p/9325732.html

相关产品

COPYRIGHTS©2017 优优最新网址 ALL RIGHTS RESERVED 备案号:155