机器学习入门之多项式曲线拟合
机器学习和人工智能是最近几年特别火的领域,比如微软小冰、微软cortana、苹果siri、谷歌Now和alphaGo都使用了机器学习,使得他们的产品变得更加智能。
当然除了这些科技巨头,其实我们日常中也可能会使用到人工智能的产品,比如最常见的就是app上的个性化推荐,通过多维度分析用户的个性,给用推荐合适的内容,当然我个人是很讨厌推荐的,基本不点开看。下面我将分为两个部分来阐述多项式曲线拟合。
什么是多项式曲线拟合
如何评估拟合结果
首选我们以一个回归的例子展开阐述,现在假设给定一个训练集。这个训练集由x的N次观测组成,写作 ≡ (x1,…,xN)T,伴随这
对应的t的观测值,记作 ≡ (t1, …, tN )T,图1展示了由N = 10个数据点组成的图像。图1.2中 的输入数据集合
通过选择xn(n = 1, … , N)的值来生成。这些xn均匀分布在区间[0, 1],目标数 据集
的获得方式是:首先计算函数sin(2πx)的对应的值,然后给每个点增加一个小的符合高斯分布的随机噪声。
现在我们输入一个新值x来预测相应的t值。首选我们需要通过训练得出的多项式为y(x,w),y(x,w)是一个多项式:
y(x,w)是曲线多项式,它是一个逼近我们真实曲线的多项式。
在上式y(x,w)中M是多项式的阶数(order),xj表示x的j次幂。多项式系数w0,…,wM整体记作向量w。
注意,虽然多项式函数y(x, w)是x的一个非线性函数,它是系数w的一个线性函数。通过最小化误差函数 (error
function)来衡量了对于任意给定的w值,函数y(x, w)与训练集数据的差别。如图所示:
那么我可以知道误差函数为:
其中1/2是为了方便计算引入的。
我们可以通过选择使得E(w)尽量小的w来解决曲线拟合问题。由于误差函数是系数w的二次函数,因此它关于系数的导数是w的线性函数,所以误差函数的最小值有一个唯一解,记 作w∗,可以用解析的方式求出。最终的多项式函数由函数y(x, w∗)给出。
从图中我们可以看出M=0和M=1拟合效果很差,我们称之为欠拟合,M=3拟合看起来和真实
的曲线差不多,但是当M=9的时候,拟合曲线激烈震荡,我们称之为过拟合。如此看来,曲线拟合的泛化性和M的取值有直接的关系,而M得值我们称之为模型特征个数,比如说房子的价格和房子面积有关系,和房子方向(南北向)有关系,那么面积是房子价格数学模型中的一个特征,房子方向也是一个特征。
为了定量考察泛化性和M之间的关系,我们额外考虑一个测试集,这个测试集由100个数据 点组成,这100个数据点的生成方式与训练集的生成方式完全相同,但是在目标值中包含的随机 噪声的值不同。对于每个不同的M值,我用用根均方(RMS)来表示测试误差:
其中,除以N让我们能够以相同的基础对比不同大小的数据集,平方根确保了E_RMS与目标 变量t使用相同的规模和单位进行度量。下图展示了不同M值和E_RMS的关系:
从中我们可以看到,M=3-8测试误差和训练误差都比较低。能够取得较好的效果。
对已一个给定的模型复杂度,当数据集的规模增加时,过拟合问题变得不那么严重。另一种表
述方式是,数据集规模越大,我们能够用来拟合数据的模型就越复杂(即越灵活)。一个粗略的启发是,数据点的数量不应该小于模型的可调节参数的数量的若干倍(比如5或10)。下图是使用M
= 9的多项式对M = 15个数据点(左图)和N = 100个数据点(右图)通过最小化平方和
误差函数的方法得到的解。我们看到增大数据集的规模会减小过拟合问题。
因此,我们了解到增加数据可以减小过拟合问题。但是我们又引来新的问题,那就是不得不根据可得到的训练集的规模限制参数的数量。也可以说是根据待解决的问题的复杂性来选择模型的复杂性。我们可能期望建立相对复杂和灵活的模型,所以我们经常用来控制过拟合现象的一种技术是正则化(regularization)。这种技术涉及到给误差函数增加一个惩罚项,使得系数不会达到很大的值。这种惩罚项最简单的形式采用所有系数的平方和的形式。
其中∥w∥^2 ≡ wT w = w0^2 + w1^2 + … + wM^2 ,系数λ控制了正则化项相对于平方和误差项的重要性,被称之为正则化系数。通过引入正则化项可以减少过拟合的问题。下图是正则化系数对过拟合影响图:
使用正则化的误差函数,用M = 9的多项式拟合图中的数据集。其中正则化参数λ选择 了两个值,分别对应于ln λ = −18和ln λ = 0。因此引入正则化项也可以减少过拟合问题。
总结
在多项式虚线拟合过程中,我们遇到了两个问题,一个是欠拟合,一个是过拟合,对于欠拟合我们只需要增加参数(或者说特征)是拟合更加好,对于过拟合,我们提到了两种方式来解决,一个是增加数据,通过增加数据的方式增加引入更多的特征从而减少过拟合,另一种是增加正则化项。
数据分析咨询请扫描二维码
CDA数据分析师在中国航信高科技产业园进行了面向测试度量的数据分析培训课程,培训人数近2 ...
2024-05-01CDA数据分析师走进深圳迈瑞生物医疗电子股份有限公司,在迈瑞总部展开了为期两天的培训,本次课程参训人员线上及线下近百人, ...
2024-05-01CDA数据分析师在合肥市对合肥阳光新能源科技有限公司开展了为期8天的企业内训。 合肥阳光新能源科技 ...
2024-05-01CDA数据分析师走进海尔大学,进行了《数据治理与数据中台建设的道与术》专题培训,培训现场爆满,近百人参加了此次培训。 ...
2024-05-01在中国银行苏州分行培训中心开始数据分析师培训,此次培训课程共10天内容,包括Excel、MySQL、概率论与数理统计、SPSS等内容, ...
2024-05-01从实际的业务需求出发,结合行业的典型应用特点,围绕实际的商业问题,探讨数据挖掘、机器学习模型在金融领域的应用,包括获客、信用评分、细分画像、交叉销售、反欺诈、违规识别、时序预测、运筹优化、流程挖掘九个方面,形成 ...
2024-05-01本次培训课程为线上+线下的模式,由于学员编程能力不一、部分学员没有编程基础,故提供统计学、python基 ...
2024-05-01华夏银行信用卡中心-机器学习培训 1、课程亮点 取材于业界一流企业和顶级咨询公司的行业实践;已经被证明是人人 ...
2024-05-01主 题:数据中台建设及数据分析应用主题分享 1. 数据中台市场洞察 2. 主流数据中台产品比较 3. 某企业数据中 ...
2024-05-01围绕“数据驱动”战略,全力打造我行 300 人数字化人才梯队,着力培养数字化管理人才、大数据专业团队 ...
2024-05-01在当今数据驱动的商业环境中,数据分析成为了企业决策的重要依据。通过对大量数据的收集、处理和分析,企业能够更好地理解市场 ...
2024-04-29在人工智能(AI)的世界里,提示词(Prompt)是一种强大的工具,它能够引导AI按照用户的需求产生特定的输出。本文将深入探讨AI ...
2024-04-29CDA立足未来职场,拓展前沿视野——对外经贸大学保险学院举办“三全育人大讲堂”分享行业最新动态。 ...
2024-04-294月2日,CDA数据分析师创始发起人兼协会理事长赵坚毅博士受邀在浙江万里学院举办了一场以“数字化能力在职场中的作用” ...
2024-04-29随机森林(Random Forests)现在机器学习中比较火的一个算法,是一种基于Bagging的集成学习方法,能够很好地处理分类和回归的问 ...
2022-12-23方差分析是数据分析中常用的一种统计分析方法,接下来让我们简单了解一下方差分析的基本思想和原理吧。 方差分析(Analysis ...
2022-12-23来源:关于数据分析与可视化 关于streamlit-aggrid 数据排序 表格样式的调整 数据 ...
2022-08-03作者:麦叔 定义 「把上面晦涩的概念汇成一句话就是:」 ❝ 回调函数就是一个被作为参 ...
2022-08-03现今,高学历人群日益增多,物以稀为贵的高学历光环淡去。无论本科生还是研究生,甚至博士生,求职竞争力都大不如前,就业压力越来越大。
2022-06-01某家企业10个人面试,有9个本科生……如何脱颖而出,除得体的举止和良好的沟通力外,证书成重要筹码,这也是很多人考证的关键所在。
2022-04-14