数据分析：常用的降维方法之主成分分析

主成分分析（Principal Component Analysis，PCA）也称主分量分析，旨在利用降维的思想，把多指标转化为少数几个综合指标。
　　在统计学中，主成分分析是一种简化数据集的技术。它是一个线性变换。这个变换把数据变换到一个新的坐标系统中，使得任何数据投影的第一大方差在第一个坐标(称为第一主成分)上，第二大方差在第二个坐标(第二主成分)上，依次类推。主成分分析经常用减少数据集的维数，同时保持数据集的对方差贡献最大的特征。这是通过保留低阶主成分，忽略高阶主成分做到的。这样低阶成分往往能够保留住数据的最重要方面。但是，这也不是一定的，要视具体应用而定。
主成分分析的主要作用
　　1．主成分分析能降低所研究的数据空间的维数。即用研究m维的Y空间代替p维的X空间(m＜p)，而低维的Y空间代替 高维的x空间所损失的信息很少。即：使只有一个主成分Yl(即 m＝1)时，这个Yl仍是使用全部X变量(p个)得到的。例如要计算Yl的均值也得使用全部x的均值。在所选的前m个主成分中，如果某个Xi的系数全部近似于零的话，就可以把这个Xi删除，这也是一种删除多余变量的方法。
　　2．有时可通过因子负荷aij的结论，弄清X变量间的某些关系。
　　3．多维数据的一种图形表示方法。我们知道当维数大于3时便不能画出几何图形，多元统计研究的问题大都多于3个变量。要把研究的问题用图形表示出来是不可能的。然而，经过主成分分析后，我们可以选取前两个主成分或其中某两个主成分，根据主成分的得分，画出n个样品在二维平面上的分布况，由图形可直观地看出各样品在主分量中的地位，进而还可以对样本进行分类处理，可以由图形发现远离大多数样本点的离群点。
　　4．由主成分分析法构造回归模型。即把各主成分作为新自变量代替原来自变量x做回归分析。
　　5．用主成分分析筛选回归变量。回归变量的选择有着重的实际意义，为了使模型本身易于做结构分析、控制和预报，好从原始变量所构成的子集合中选择最佳变量，构成最佳变量集合。用主成分分析筛选变量，可以用较少的计算量来选择量，获得选择最佳变量子集合的效果。
主成分分析法的计算步骤
1、原始指标数据的标准化采集p 维随机向量x = (x1,X2,...,Xp)T)n 个样品xi = (xi1,xi2,...,xip)T ，i=1,2,…,n，
　　n＞p，构造样本阵，对样本阵元进行如下标准化变换：
　　Z_{ij}=\frac{x_{ij}-\bar{x}_j}{s_j},i=1,2,...,n; j=1,2,...,p
　　其中\bar{x}_j=\frac{\sum^{n}_{i=1}x_{ij}}{n},s^2_j=\frac{\sum^n_{i=1}(x_{ij}-\bar{x}_j)^2}{n-1}，得标准化阵Z。
　　2、对标准化阵Z 求相关系数矩阵
　　R=\left[r_{ij}\right]_pxp=\frac{Z^T Z}{n-1}
　　其中,r_{ij}=\frac{\sum z_{kj}\cdot z_{kj}}{n-1},i,j=1,2,...,p 。
　　3、解样本相关矩阵R 的特征方程\left|R-\lambda I_p\right|=0得p 个特征根,确定主成分
　　按\frac{\sum^m_{j=1}\lambda_j}{\sum^p_{j=1}\lambda_j}\ge 0.85 确定m 值，使信息的利用率达85%以上，对每个λj, j=1,2,...,m, 解方程组Rb = λjb得单位特征向量b^o_j 。
　　4、将标准化后的指标变量转换为主成分
　　U_{ij}=z^{T}_{i}b^{o}_{j},j=1,2,...,m
　　U1称为第一主成分,U2 称为第二主成分,…,Up 称为第p 主成分。
　　5 、对m 个主成分进行综合评价
　　对m 个主成分进行加权求和，即得最终评价值，权数为每个主成分的方差贡献率。
因子分析
　因子分析法是指从研究指标相关矩阵内部的依赖关系出发，把一些信息重叠、具有错综复杂关系的变量归结为少数几个不相关的综合因子的一种多元统计分析方法。基本思想是：根据相关性大小把变量分组，使得同组内的变量之间相关性较高，但不同组的变量不相关或相关性较低，每组变量代表一个基本结构一即公共因子。
因子分析法的步骤
　　(1)对数据样本进行标准化处理。
　　(2)计算样本的相关矩阵R。
　　(3)求相关矩阵R的特征根和特征向量。
　　(4)根据系统要求的累积贡献率确定主因子的个数。
　　(5)计算因子载荷矩阵A。
　　(6)确定因子模型。
　　(7)根据上述计算结果，对系统进行分析。