从曲线拟合问题窥视机器学习中的相关概念

一直徘徊在机器学习的边缘未敢轻易造次并畏惧其基本原理思想，从每一本厚厚的参考资料中都可以看出机器学习是一门跨越概率论、决策论、信息论以及最优化的学科的综合学科，今天终于鼓足勇气向其挑战，选择该领域经典书籍PRML研读，希望能有点收获。后面的一系列的文章都是从一个初学者的角度来学习机器学习领域的知识。

1.   曲线拟合问题

定义：给定一系列输入xi以及目标值ti，目标是找到一个关于x的函数f(x)能够比较好的拟合给定的输入，并且能够对新给出的x值预测其输出。

问题本身就是一个学习问题，那什么是机器学习呢？通过有限的输入数据以及对应的目标值（也称训练数据）学习到一个模型或者推断函数，并且利用这个模型或者推断函数对新数据进行预测。这里的机器学习一般是指统计机器学习，即基于数据和统计方法。统计学习方法是基于数据构建统计模型从而对数据进行预测与分析，可以分为：监督学习和非监督学习。

a)监督学习：训练数据包括给定的输入及其相应的输出，可以根据输入和输出的类型分为分类问题、标注问题和回归问题。

1) 分类问题： 输出变量为有限个离散变量的预测问题，可以根据离散变量k的个数分为二分类问题（k=2）和多分类问题（k>2），常用方法包括k近邻法、感知机、朴素贝叶斯、决策树等

2) 回归问题：输入变量和输出变量均为连续变量的预测问题，可以根据参数的系数k分为线性回归（k=1）和非线性回归（k>1）。

3) 标注问题：输入变量和输出变量均为变量序列的预测问题，常用方法包括隐马尔科夫模型（HMM）、条件随机场（CRF）

b)非监督学习：训练数据仅包括输入没有指定相应的输出。

1)聚类：在杂乱的数据中发现相似的簇或者数据集合

2)密度估计：发现输入数据的概率密度函数

3)可视化：通过降维实现数据可视化

2.   曲线拟合数据源

在实验中训练数据的来源是人工生成的，即根据某个函数按照一定的分布随机抽取N个数据以及对应的函数值作为训练数据。然后一般真实数据由于种种原因均会产生一定的误差，不会与一个分布完全吻合，所以目标值一般加上一个随机误差（误差分布满足高斯分布）。

本例中选取f(x)=sin(2πx)，按照均匀分布随机选取N个数据。

其中绿色曲线为sin(2πx)，蓝色圆圈为加上随机误差后的结果。

3.   多项式拟合

首先选择一个比较简单的模型进行学习和预测，即多项式曲线，

y(x,w)=w0+w1x+w2x2+...+wmxM

其中w为自变量x的系数，M为自变量x的项数，也是整个多项式最大的项。学习的目标是找到合适的w和M，使其能够更好的拟合训练数据。由于不同的w和M值对应不同的曲线，即不同的模型或者推断函数，如何去衡量生成的模型好坏呢？

误差函数（error function）：用于衡量不同模型的优劣，即度量预测错误的程度，也称之为损失函数或者代价函数，一般有以下几种：

a)0-1损失函数

L(y,f(x))=1,y != f(x);0,y=f(x)

b)平方损失函数

L(y,f(x))=(y-f(x))2

c)绝对损失函数

L(y,f(x))=|y-f(x)|

d)对数损失函数

L(y,f(x))=-log(p(y|x))

模型选择：选择使得误差函数最小的参数。

在本例中选择平方和作为误差函数，即。

由于本例选择的误差函数为w单调的函数，肯定存在最优解w*使得E(w)最小。

下图为M为0、1、3、9时求到的最优w*，红色曲线为求到的多项式曲线。

从上图可以看出，当M为0时曲线的拟合程度最差，M为9时拟合程度最好，即完全拟合使得E(w)为0，这种情况称之为过拟合。

由于机器学习的目的是对新给定的数据进行预测，即不仅仅是完全拟合训练数据，也要对新数据给出一个很好的预测。学习的泛化能力（generalization ability）：是指某方法学习到的模型对为知数据预测的能力，是学习方法本质上的重要性质。如果一味的追求对训练数据的预测能力，学习到的模型往往会比真实模型复杂度高，即出现过拟合。

一般通过测试误差来评价学习方法的泛化能力，这里使用残留均方差进行评价（root mean-square）：，下图展示了M为0-9时，最优模型在训练数据和测试数据上的测试误差，可以看出当M=9时，对训练数据的误差为0，而对测试数据的误差飙升到最大。分析其本质原因是当M为9时，模型为了更好的拟合数据w取值的波动性非常大。

4.   最优模型选择

产生多拟合问题的主要原因是训练数据太少导致的，或者说模型复杂度过高导致的。对于复杂模型而言，会随着训练数据的增加，减小过拟合问题，下图是增加训练数据时M=9的拟合效果。

在实际应用中，一个启发式的经验是一个模型要到达一定得泛化能力，其训练数据至少为参数个数的5-10倍，当然还会有其他方法避免过拟合问题。

最优模型选择有两种常用的方法：正则化（regularization）和交叉验证（cross validation）

a)         正则化：一般是在误差函数的基础上加上一个正则化项或者罚项，一般是模型复杂度的单独递增函数，模型越复杂，罚值越大。

这里正则项选择为：，||w||2为向量w的平方和。

下图展示的是对于不同λ值对应的测试误差

b)         交叉验证：即将数据进行分割分为训练数据和测试数据，通过训练数据进行模型学习，测试数据进行模型的选择。

1)         简单交叉验证：例如选择80%的数据位训练数据，20%作为测试数据。

2)         S折交叉验证：将数据分为S份，每次选择S-1份进行训练，1份用于测试，可以重复S次。

3)         留一交叉验证：留一条数据数据作为测试，比较极端的情况。

对于本例来说λ的选择就可以采用交叉验证的方法进行选择。

5.   总结

通过对曲线拟合问题的定义和简单求解，介绍了机器学习中的概念，当然还有大量概念未涉及到，后续还会继续补充。

对于曲线拟合问题，通过多项式拟合只是最简单的一个方法，后续还会介绍更优美的解决方案。

这里总结一下一个机器学习任务的基本步骤：

1)         获取一个有限的训练数据集合

2)         对数据进行特征抽取

3)         如果有需要，对特征进行降维

4)         确定学习模型的集合

5)         确定模型选择的准则，确定误差函数

6)         上线求解最优模型的算法，即模型的求解

7)         通过学习方法选择最优模型

8)         利用学习到的最优模型对新数据进行预测或者分析