京公网安备 11010802034615号
经营许可证编号:京B2-20210330
概括地说,泛化能力(generalization ability)是指机器学习算法对新鲜样本的适应能力。学习的目的是学到隐含在数据对背后的规律,对具有同一规律的学习集以外的数据,经过训练的网络也能给出合适的输出,该能力称为泛化能力。
在机器学习方法中,泛化能力通俗来讲就是指学习到的模型对未知数据的预测能力。在实际情况中,我们通常通过测试误差来评价学习方法的泛化能力。如果在不考虑数据量不足的情况下出现模型的泛化能力差,那么其原因基本为对损失函数的优化没有达到全局最优。
1.泛化能力
在机器学习方法中,泛化能力通俗来讲就是指学习到的模型对未知数据的预测能力。在实际情况中,我们通常通过测试误差来评价学习方法的泛化能力。如果在不考虑数据量不足的情况下出现模型的泛化能力差,那么其原因基本为对损失函数的优化没有达到全局最优。
2.泛化误差
首先给出泛化误差的定义, 如果学到的模型是 f^ , 那么用这个模型对未知数据预测的误差即为泛化误差
泛化误差反映了学习方法的泛化能力,如果一种方法学习的模型比另一种方法学习的模型具有更小的泛化误差,那么这种方法就更有效, 事实上,泛化误差就是所学到的模型的期望误差。
3.提高泛化能力
提高泛化能力的方式大致有三种:1.增加数据量。2.正则化。3.凸优化。
4.L1正则化,L2正则化
L1正则化的几何解释如图:
L1正则化给出的最优解w∗是使解更加靠近某些轴,而其它的轴则为0.所以L1正则化能使得到的参数稀疏化。
L1正则化的参数先验是服从拉布拉斯分布的,拉布拉斯的概率密度分布函数为:
L2正则化的解释如图:
L2 正则化给出的最优解w∗是使解更加靠近原点,也就是说L2正则化能降低参数范数的总和。
L2正则化的参数先验服从高斯分布,高斯分布的概率密度分布函数为:
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
注:常有人误写为 CPA,标准名称为 PCA(Principal Component Analysis)主成分分析。 ” 一、什么是主成分分析 主成分分析 ...
2026-11-05一、两个概念经常被混为一谈 在统计报告和学术论文里,这两个说法经常同时出现: "p < 0.05,差异有统计学意义""取显著性水平 ...
2026-11-05“纲举目张,执本末从。”若想在数据分析领域有所收获,一套合适的学习教材至关重要。一套优质且契合需求的学习教材无疑是那关键 ...
2026-11-05在校期间能考的证书,大致落在四类里:通用基础类、岗位技能与行业认证类、专业技术资格类、国家职业资格与职业技能等级类。但比 ...
2026-11-04先把结论说清楚:大学生能自学考的证,主要集中在三类。第一类是通用基础类,比如大学英语四六级、全国计算机等级考试、普通话水 ...
2026-11-04大学生考哪些证书好,没有一个统一答案。有人说的“好”是好考、周期短,有人指招聘时用得上,还有人看长期职业壁垒。三种口径排 ...
2026-11-04“什么证书值得考”没有一个统一答案。同一张证书,对准入岗位是硬门槛,对另一类岗位可能只是加分项;对在校生是求职准备,对在 ...
2026-11-04“女生考什么证比较好”这个问题,真正的难点不在“女生”,而在“比较好”三个字。对一个人来说,好报、好考、好就业往往不是同 ...
2026-11-04离开校园后考证书,最怕两件事:花几个月备考,发现报考条件不符;或者考下来,岗位用不上。社会人士选证书,先别急着看榜单,先 ...
2026-11-04“女孩子适合考什么证书”很难用一张榜单回答。“适合”包含太多变量:求稳进体制或学校,靠技能接单变现,还是进入运营、市场、 ...
2026-11-04先把结论说清楚:选证书不看性别。“男的适合考什么”这个问题里,真正有用的是三个变量——你想去的岗位、你现有的能力基础、你 ...
2026-11-04“哪些证书属于技能证书”,没法靠一份名单回答。技能证书不是某一部门统一颁发的单一证书,而是按发证主体和评价性质划分的一类 ...
2026-11-04“哪些是职业资格证书”这个问题,答案比多数人想的要窄。按照现行制度,职业资格证书主要指列入国家职业资格目录的证书,分为准 ...
2026-11-04想考证,但单位不统一组织,能不能自己报名?答案是:能,但前提是先分清三类证书——个人可独立报考、需单位统一组织、需机构代 ...
2026-11-04“好考又有用”是证书选择里最常被并列、也最容易被混淆的两个条件。好考,可能指报名不设门槛,也可能指考试科目少、通过难度低 ...
2026-11-04“含金量排名前十证书”是一个搜索量很大、但很难有标准答案的问题。原因不复杂:证书的价值依附于具体岗位和制度属性。注册会计 ...
2026-11-04“国内认可的证书”不是一个单一概念。有人问的是国家职业资格,有人问的是职称,有人问的是行业认证,还有人把培训机构发的结业 ...
2026-11-04高中生搜“可以考什么证书”,最常踩的坑不是选错方向,而是没看清报名门槛就付了费。直接回答:高中在读期间,真正能报的主要是 ...
2026-11-04“都有什么证书可以考取”这个问题,直接搜会得到一堆互相矛盾的榜单。更有效的做法不是先问“哪个最值钱”,而是先分清证书的性 ...
2026-11-04大专在读期间能考的证书,比很多人想象的要多,但真正值得花时间的并不多。核心判断顺序只有一条:先看当期官方公告是否允许专科 ...
2026-11-04