机器学习实战之PCA

1.  向量及其基变换

1.1 向量内积

(1)两个维数相同的向量的内积定义如下: 内积运算将两个向量映射为一个实数.

(2) 内积的几何意义

假设A\B是两个n维向量, n维向量可以等价表示为n维空间中的一条从原点发射的有向线段, 为方便理解, 在这里假设A和B都是二维向量.A=(x1,y1) , B=(x2,y2),在二维平面上A/B可以用两条发自原点的有向线段表示,如下图:

在上图中,从A点向B所在的直线引一条垂线.垂线与B的交点叫A在B上的投影.A与B的夹角是a,则投影的矢量长度为

* 矢量长度可能为负,其绝对值是线段长度. 符号取决于其方向与标准方向相同或相反. 标量长度总是大于等于0,值就是线段的长度.

内积另外一种表示形式:

A和B的内积等于A到B的投影长度乘以B的模.设向量B的模为1的话,则A和B的内积值等于A向B所在直线投影的矢量长度.

1.2 基

(1) 一个二维向量对应二维直角坐标系中从原点出发的一个有向线段, 代数方面, 常使用线段终点的点坐标表示向量, 例如(3,2), 但是一个(3,2)并不能精确的表示一个向量,. 分析可得: "3"实际表示的是向量在x轴上的投影值是3,在y轴的投影值是2, 也就是隐式的引入了一个定义: 以x轴和y轴正方向长度为1的向量为标准. 更具体地,向量(x,y)实际可以表示线性组合:. 此处(1,0)/(0,1)为二维空间中的一组基.

结论: 为了准确描述向量,首先确定一组基,然后给出在基所在的各个直线上的投影值即可.

(2) 任何两个线性无关的二维向量都可以成为一组基.一般假设基的模为1, 例如一组基为,则点(3,2)在新基上的坐标为,形象的从下图中可以观察:

(3) 基变换的矩阵表示

第二节中的例子转为矩阵表示为:

矩阵的两行分别为两个基.乘以原向量恰好是新坐标; 若是有多个二维向量要转换到新基下的坐标,即将这些二维向量按列排成一个矩阵,例如点(1,1)/(2,2)/(3,3)

*结论: 如果有m个n维向量,想将其变换为r个n维空间表示的新空间中,首先将r个基按行组成矩阵A,然后将向量按列组成矩阵B, 那么两矩阵的乘积AB就是变换结果,其中AB的第m列为B中第m列的变换结果. r决定了变换后数据的维数.即可以将一n维数据变换到更低维的空间中去,变换后的维数取决于基的数量.

两个矩阵相乘的意义就是将右边矩阵中的每一列列向量转换到左边每一行行向量为基表示的空间中去.

2. 协方差矩阵

2.1 基础准备

前面讨论了不同的基可以对同一组数据给出不同的表示,如果基的数量少于向量自身的维数, 则可以达到降维的目标. 如何选择k个n维向量(k个基)使得最大程度上保留原有的信息?

下面举例说明:

数据的5条记录组成, 将它们表示成矩阵形式:

其中每一列为一条数据记录,一行对应一个字段,为了处理方便,首先将每个字段内所有值减去字段均值,其结果就是将每个字段的均值都变为0,上述矩阵变换后的结果为:

其在坐标系中对应的位置为:

问题: 现在要用一维来表示这些数据,又希望尽可能的保留原始的信息,该怎么选择基? 

答案: 希望投影后的投影值尽可能分散. 

上述图所将数据点向第一象限和第三象限的斜线投影,则上述5个点在投影后还是可以区分的.

2.2.  方差

希望投影后得到的数据值尽可能分散, 分散程度可以用数学上的方差来表述.

一个字段的方差可以看作是每个元素与字段均值差的平方和的均值,即

由于上面已将数据的每个字段平均化了,因此方差可以直接用每个元素的平方和除以元素个数,即

于是上述问题被形式化表示为:寻找一个基,使得所有数据变换为这个基上的坐标后,方差最大.

2.3 协方差

对于将二维变为一维的问题,找到使得方差最大的方向即可; 但是对于更高维,需要考虑更多,例如三维降到二维, 与之前相同,首先希望找到一个方向使得投影后方差最大,这样就完成了地一个方向的选择,继续我们还需要选择第二个投影方向.

若继续选择方差最大的方向,则这个方向和第一个方向应该是几乎重合的, 显然这样是不行的,. 从直观上看,为了让这两个字段尽可能的表示更多的原始信息,希望它们之间是线性不相关的,因为相关性意味这两个字段不是完全独立,存在重复表示的信息.

数学上用两个字段的协方差来表示其相关性,由于已经让每个字段的均值为0,则其协方差计算公式如下:

由式子可以得出, 在字段均值为0的情况下, 两个字段的协方差简洁的表示为其内积除以元素数.

当协方差为0时, 表示两个字段完全独立. 为了让协方差为0, 选择第二个基只能在与第一个基正交的方向上选择.因此最终选择的两个方向一定是正交的.

***降维的优化目标: 将一组n维向量降为k维,其目标是选择k个单位(模为1)正交基,使得原始数据变换到这组基上后, 个字段两两间协方差为0,且字段的方差尽可能大(在正交的约束下,取最大的k个方差)

2.4 协方差矩阵

最终目的与字段内方差和字段间的协方差密切相关,现在想做的就是使得两者统一.

假设我们有a和b两个字段,m个向量,将其按行组成矩阵X:

然后用X乘以X的转置,并除以向量个数:

可以发现,这个矩阵对角线上的两个元素分别是来那个个字段的方差,而其它元素是a和b的协方差.即方差和协方差被统一到了一个矩阵中.

***推广得到一般结论: 若有m个n维数据,将其按列拍成n*m的矩阵X,,则C是一个对称矩阵,其对角线分别是各个字段对应的方差,第i行j列与第j行i列的元素一样,表示i和j两个字段的协方差.

2.5 协方差矩阵对角化

为了达到使得字段内方差尽可能大,字段间的协方差为0的目标, 等于将协方差矩阵对角化:即除对角线外的其它元素均为0,并且对角线上的元素按从大到小的顺序排列,这样就达到了优化目的.

令原始数据矩阵X对应的协方差矩阵为C,P是一组基按行组成的矩阵,Y=PX,则Y为X对P做基变换后的数据.设Y的协方差矩阵为D,推导D与C的关系:

显然, 变换后的矩阵Y的协方差矩阵D应该除对角线外的元素为0.我们寻找的P是能让原始协方差矩阵对角化的P.

即优化目标变为:寻找一个矩阵P, 满足是一个对角矩阵,且对角元素按从大到小依次排列,那么P的前k行就是寻找的基,用P的前k行组成的矩阵乘以C就使得X从n维降到了k维并满足上述优化条件.

2.6 协方差对角化

协方差矩阵C是一个对称矩阵,实对称矩阵有很好的性质:

3. 降维方法

3.1 降维目的:

使得数据集更易使用

降低很多算法的计算开销

去除噪声

使得结果易懂

3.2 三种降维方法

(1) 主成分分析法 (principal component analysis, PCA)

在PCA中,数据从原来的坐标系转换到了新的坐标系,新坐标系的选择由数据本身决定. 第一个新坐标轴选择的是原始数据中方差最大的方向,第二个新坐标轴的选择是和第一个新坐标轴正交且具有最大方差的方向.过程一直重复,重复次数为原始数据中特征的数目.

(2) 因子分析(factor analysis)

在因子分析中,假设在观察数据的生成中有一些观察不到的隐变量.假设观察数据是这些隐变量和某些噪声的线性组合.

(3) 独立成分分析(independent component analysis,ICA)

在ICA中, 假设数据是从N个数据源生成的.即数据为多个数据源的混合观察结果,这些数据源之间在统计上是相互独立的,在PCA中只假设数据是不相关的.同因子分析一样,若数据源的数目小于观察数据的数目,就可以实现降维.

4. PCA(principal component analysis,主成分分析)

4.1 性能评价

优点: 降低数据的复杂性,识别到最重要的几个特征

缺点:不一定需要,且可能损失有用信息

4.2 PCA实现

将数据转换成前N个主成分的伪代码如下:

去除平均值(将数据的每一维特征减去其平均值)

计算由数据构成矩阵的协方差矩阵

计算协方差矩阵的特征值和特征向量

将特征值从大到小排序

保留最上面的N个特征向量

将数据转换到上述N个特征向量构建的新空间中

其实现代码如下:

<span style="font-size:18px;"><span style="font-size:18px;">def pca(dataMat,topNfeat = 999999):
    #每一行对应一个数据点,求每一列的平均值(即每个特征的均值)
    meanVal = mean(dataMat,axis = 0)
    #数据均值化
    meanData = dataMat - meanVal
    
    #求数据的协方差矩阵
    covMat = cov(meanData,rowvar = 0)
    #协方差矩阵的特征向量和特征值
    eigVal,eigVec = linalg.eig(mat(covMat))
    
    eigValIndex = argsort(eigVal)
    eigValIndex = eigValIndex[:-(topNfeat+1):-1]
    redEigVec = eigVec[:,eigValIndex]
    #得到降维后的数据
    lowDataMat = meanData * redEigVec

    #原始数据被重构后返回用于调试
    reconMat = (lowDataMat * redEigVec.T) + meanVal

    return lowDataMat,reconMat</span></span>

4.3 重构

还原原始数据的过程就是获得样本点映射以后在原空间中的估计位置的过程.

检验:在命令行输入以下代码:将降维后的数据和原始数据一起画出来.得到图片如下:

<span style="font-size:18px;">>>> lowdata,recon = pca.pca(datas,1)
[[ 1.]]
>>> import matplotlib.pyplot as plt
>>> fig = plt.figure()
>>> ax = fig.add_subplot(111)
>>> ax.scatter(datas[:,0].flatten().A[0],datas[:,1].flatten().A[0],marker='^',s=90)
<matplotlib.collections.PathCollection object at 0x7f8b84d70590>
>>> ax.scatter(recon[:,0].flatten().A[0],recon[:,1].flatten().A[0],marker='o',s=50,c='red')
<matplotlib.collections.PathCollection object at 0x7f8b84d40290>
>>> plt.show()
</span>

c
即红色的线表示原始数据沿着这条线投影.即第一新坐标轴.