京公网安备 11010802034615号
经营许可证编号:京B2-20210330
机器学习入门之多项式曲线拟合
机器学习和人工智能是最近几年特别火的领域,比如微软小冰、微软cortana、苹果siri、谷歌Now和alphaGo都使用了机器学习,使得他们的产品变得更加智能。
当然除了这些科技巨头,其实我们日常中也可能会使用到人工智能的产品,比如最常见的就是app上的个性化推荐,通过多维度分析用户的个性,给用推荐合适的内容,当然我个人是很讨厌推荐的,基本不点开看。下面我将分为两个部分来阐述多项式曲线拟合。
什么是多项式曲线拟合
如何评估拟合结果
首选我们以一个回归的例子展开阐述,现在假设给定一个训练集。这个训练集由x的N次观测组成,写作 ≡ (x1,…,xN)T,伴随这
对应的t的观测值,记作 ≡ (t1, …, tN )T,图1展示了由N = 10个数据点组成的图像。图1.2中 的输入数据集合
通过选择xn(n = 1, … , N)的值来生成。这些xn均匀分布在区间[0, 1],目标数 据集
的获得方式是:首先计算函数sin(2πx)的对应的值,然后给每个点增加一个小的符合高斯分布的随机噪声。
现在我们输入一个新值x来预测相应的t值。首选我们需要通过训练得出的多项式为y(x,w),y(x,w)是一个多项式:
y(x,w)是曲线多项式,它是一个逼近我们真实曲线的多项式。
在上式y(x,w)中M是多项式的阶数(order),xj表示x的j次幂。多项式系数w0,…,wM整体记作向量w。
注意,虽然多项式函数y(x, w)是x的一个非线性函数,它是系数w的一个线性函数。通过最小化误差函数 (error
function)来衡量了对于任意给定的w值,函数y(x, w)与训练集数据的差别。如图所示:
那么我可以知道误差函数为:
其中1/2是为了方便计算引入的。
我们可以通过选择使得E(w)尽量小的w来解决曲线拟合问题。由于误差函数是系数w的二次函数,因此它关于系数的导数是w的线性函数,所以误差函数的最小值有一个唯一解,记 作w∗,可以用解析的方式求出。最终的多项式函数由函数y(x, w∗)给出。
从图中我们可以看出M=0和M=1拟合效果很差,我们称之为欠拟合,M=3拟合看起来和真实
的曲线差不多,但是当M=9的时候,拟合曲线激烈震荡,我们称之为过拟合。如此看来,曲线拟合的泛化性和M的取值有直接的关系,而M得值我们称之为模型特征个数,比如说房子的价格和房子面积有关系,和房子方向(南北向)有关系,那么面积是房子价格数学模型中的一个特征,房子方向也是一个特征。
为了定量考察泛化性和M之间的关系,我们额外考虑一个测试集,这个测试集由100个数据 点组成,这100个数据点的生成方式与训练集的生成方式完全相同,但是在目标值中包含的随机 噪声的值不同。对于每个不同的M值,我用用根均方(RMS)来表示测试误差:
其中,除以N让我们能够以相同的基础对比不同大小的数据集,平方根确保了E_RMS与目标 变量t使用相同的规模和单位进行度量。下图展示了不同M值和E_RMS的关系:
从中我们可以看到,M=3-8测试误差和训练误差都比较低。能够取得较好的效果。
对已一个给定的模型复杂度,当数据集的规模增加时,过拟合问题变得不那么严重。另一种表
述方式是,数据集规模越大,我们能够用来拟合数据的模型就越复杂(即越灵活)。一个粗略的启发是,数据点的数量不应该小于模型的可调节参数的数量的若干倍(比如5或10)。下图是使用M
= 9的多项式对M = 15个数据点(左图)和N = 100个数据点(右图)通过最小化平方和
误差函数的方法得到的解。我们看到增大数据集的规模会减小过拟合问题。
因此,我们了解到增加数据可以减小过拟合问题。但是我们又引来新的问题,那就是不得不根据可得到的训练集的规模限制参数的数量。也可以说是根据待解决的问题的复杂性来选择模型的复杂性。我们可能期望建立相对复杂和灵活的模型,所以我们经常用来控制过拟合现象的一种技术是正则化(regularization)。这种技术涉及到给误差函数增加一个惩罚项,使得系数不会达到很大的值。这种惩罚项最简单的形式采用所有系数的平方和的形式。
其中∥w∥^2 ≡ wT w = w0^2 + w1^2 + … + wM^2 ,系数λ控制了正则化项相对于平方和误差项的重要性,被称之为正则化系数。通过引入正则化项可以减少过拟合的问题。下图是正则化系数对过拟合影响图:
使用正则化的误差函数,用M = 9的多项式拟合图中的数据集。其中正则化参数λ选择 了两个值,分别对应于ln λ = −18和ln λ = 0。因此引入正则化项也可以减少过拟合问题。
总结
在多项式虚线拟合过程中,我们遇到了两个问题,一个是欠拟合,一个是过拟合,对于欠拟合我们只需要增加参数(或者说特征)是拟合更加好,对于过拟合,我们提到了两种方式来解决,一个是增加数据,通过增加数据的方式增加引入更多的特征从而减少过拟合,另一种是增加正则化项。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
一、销售行业为什么离不开大数据分析 销售行业的本质是"把合适的产品,在合适的时间,卖给合适的人,并持续复购"。传统销售靠经 ...
2026-11-16一、什么是频数分布 拿到一批连续数据(员工年龄、商品价格、考试分数、订单金额),最想先看的往往不是平均值,而是数据集中在 ...
2026-11-16教育部办公厅关于成立全国数据职业教育教学指导委员会(2026—2030年)的通知 教职成厅函〔2026〕25号 各省、自治区、直辖市教 ...
2026-11-16CDA数据分析师 出品 作者:李诗怡 基础与单表查询 四大类语言 · 数据库基础 · DQL 单表查询 ” 一、SQL 四大类语言与数据 ...
2026-11-13核心资源推荐 CDA教材(2025):https://edu.cda.cn/goods/show/3151CDA模拟题(2025):https://edu.cda.cn/goods/show/2845CD ...
2026-11-13核心资源推荐 CDA教材(2025):https://edu.cda.cn/goods/show/3151CDA模拟题(2025):https://edu.cda.cn/goods/show/2845CD ...
2026-11-13一、问题从哪来 财务分析里算增长率,常规公式所有人都会写: 增长率本年数上年数上年数 这个公式在"上年为正"时完全成立。但一 ...
2026-11-12一、什么是加权聚类 普通聚类默认"每个样本、每个指标都同等重要":距离公式里每个样本权重都是 1,每个指标在距离计算里占比相 ...
2026-11-12“纲举目张,执本末从。”若想在数据分析领域有所收获,一套合适的学习教材至关重要。一套优质且契合需求的学习教材无疑是那关键 ...
2026-11-12一、需求从哪来 做 Excel 报表时,"从一个透视表取数据"这个需求通常有三种来源: 汇总页引用:明细透视表在另一个 sheet,汇总 ...
2026-11-11一、透视表的价值在哪 一句话概括:数据透视表把"写公式汇总"变成了"拖字段看结果"。 传统做法要写 SUMIFS、COUNTIFS,改一个维 ...
2026-11-11核心资源推荐 CDA教材(2025):https://edu.cda.cn/goods/show/3151CDA模拟题(2025):https://edu.cda.cn/goods/show/2845CD ...
2026-11-11一、回归分析到底在解决什么问题 很多人学回归分析,是从公式开始的:最小二乘法、残差平方和、R²、t 检验。公式记住了,但一到 ...
2026-11-10一、等级聚类法是什么 等级聚类法(Hierarchical Clustering),中文也叫系统聚类法、层次聚类法,是聚类分析里最经典的一类方法 ...
2026-11-10考试范围 PART 1 大数据基础理论 占比(8% ) a. 大数据分析基础(1%) b. Python 基础(5%) c. Linux & Ubuntu 操作系统基 ...
2026-11-10一、业务背景 在后台列表、管理系统、报表页面的分页需求里,前端通常需要两份数据:当前页的分页记录、符合筛选条件的数据总条 ...
2026-11-09一、需求看起来简单,实际坑不少 "把文本里所有中括号 [] 中间的内容提取出来"——这是文本清洗里最常见的需求之一。日志里的 [I ...
2026-11-09大数据分析师证书考什么 考试范围 PART 1 大数据基础理论 占比(8% ) a. 大数据分析基础(1%) b. Python 基础(5%) c. Li ...
2026-11-09CDA数据分析师 出品 作者:李诗怡 一、数据处理概述 定义: 在正式开展数据分析之前,对原始采集的数据进行整理、修正、加工和精 ...
2026-11-06一、为什么数据要先标准化 拿到一份数据,各列的量纲往往完全不同:年龄单位是"岁"(约 20~60),收入单位是"元"(几千到几万) ...
2026-11-06