————————————【 什么是正则化、如何理解正则化、以及正则化的作用？】

————————————提到正则化，最好的切入点就是“过拟合”，简单地理解过拟合就是模型过分学习并拟合数据导致模型泛化性能较差。通过正则化的方法，可以尽量避免过拟合的发生。

一、正则化的概念

What

正则化-Regularization（也称为惩罚项或范数）就是通过对模型的参数在“数量”和“大小”方面做相应的调整，从而降低模型的复杂度，以达到可以避免过拟合的效果。

二、如何理解正则化

How

如果我们的目标仅仅是最小化损失函数（即经验风险最小化），那么模型的复杂度势必会影响到模型的整体性能；引入正则化（即结构风险最小化）可以理解为衡量模型的复杂度，同时结合经验风险最小化，进一步训练优化算法。

三、正则化的作用

Why

正则化可以限制模型的复杂度，从而尽量避免过拟合的发生；模型之所以出现过拟合的主要原因是学习到了过多噪声，即模型过于复杂（也可以通过简化模型或增加数据集等方法尽量避免过拟合的发生）。

正则化的常见类型：

（1）L1正则化

可以通过稀疏化（减少参数“数量”）来降低模型复杂度的，即可以将参数值减小到0。

（2）L2正则化

可以通过减少参数值“大小”来降低模型的复杂度，即只能将参数值不断减小，但永远不会减小为0，只能尽量接近于0。

关联概念

过拟合、正则化、经验风险最小化、结构风险最小化、损失函数、模型复杂度、范数