判别分析的基本思想以及常见的判别分析方法

判别分析的基本概念及应用

从统计的角度来看，判别分析可以描述为：已知有个总体，现有样本y，要根据这k个总体和当前样本的特征，判定该样本y属于哪一个总体。其主要工作是根据对已知总体的理解，建立判别规则（又称判别函数），然后根据该判别规则对新的样本属于哪个总体做出判断。

判别分析在现实中有着广泛的应用。例如，在金融业，根据客户的信息对其信用等级的分类；在人力部门，根据已有的员工类别及特征对求职者进行相应的分类；在医学上，根据临床特征对是否染上某种疾病做出诊断；在市场营销上，根据调查资料来判断下个时间段（月、季度或年）产品是滞销、平常还是畅销；在环境科学上，根据大气中各种颗粒的指标来判断地区是严重污染、中度污染还是无污染；在体育运动科学中，根据运动员的各项生理指标及运动指标判断运动员适合短跑竞技还是长跑竞技，等等。

判别分析是一种多元统计方法。在判别分析中，往往需要研究考查对象的多个指标或变量，也就是说要有多个判别变量，才能建立合理的判别规则，即判别函数。例如在上面信用卡的例子中，要正确地判定信用等级，往往需要研究持卡人的职业、年龄、收入、交易历史等多个信息。

判别分析的假设条件

进行判别分析会涉及下述假设条件，但并不是说，这些假设条件不满足，就不能进行判别分析了，而是要根据这些假设条件来选择合适的分析方法，或者是通过这些假设条件来了解它们对判别函数或判别效果产生的影响。

每一个判别变量都不能是其他判别变量的线性组合。当一个判别变量与另外一个判别变量高度相关时，虽然能求解，但是误差将会很大。

各判别变量之间具有多元正态分布，即每个变量对于其他变量的固定值有正态分布。当多元正态分布假设满足时，可以使用参数方法，反之，则可以使用非参数方法，例如本章后面会提到的核方法和近邻法。

在多元正态假设条件满足的前提下，使用参数法可以计算出判别函数。更进一步，如果已知类别里变量的协方差矩阵相等，那么判别函数为一次函数；反之，判别函数为二次函数。

判别分析常见的方法

判别分析常见的方法有距离判别、Bayes判别和Fisher判别法等。理解判别上述几种判别分析方法的思想原理对于正确设定判别分析过程步中的选项是很有帮助的。

1. 距离判别

距离判别是最简单、也是最基本的判别方法，其基本思想是根据样本和不同总体的距离判定该样品所属的类别。样本和总体的距离由距离函数来度量。

进一步，可以定义判别函数，判别规则如下：

如果W(X)<0，那么X与B的距离较近，进而认为X是由设备B生产的；

如果W(X)>=0，那么认为X是设备A生产的。

根据上述规则，由于W(X)<0，因此可以判定X属于B类设备生产的产品。

这种将距离和分散性结合起来考虑的方法也称马氏距离（Mahalanobis Distance），该距离由印度数学家Mahalanobis于1936年基于协方差矩阵提出。假设总体G=(G1, G2, ..., Gk)为m维（考察的类别有k个，对应k个类别的子总体为Gk，指标有m个），均值向量，协方差矩阵为，那么样本与总体G的马氏距离定义为

马氏距离是最常见的距离函数之一，也是SAS用于判别分析过程步的选项之一。根据马氏距离定义的判别函数W(X)为线性函数或二次函数：

当G1, G2, ..., Gk的协方差矩阵相等时，W(X)为线性函数。

当G1, G2, ..., Gk的协方差矩阵不全相等时，W(X)为二次函数。

2. Bayes判别法

距离判别法简单、实用，但是该方法也有缺点：

未考虑各个总体的分布，以及样本出现在各个G1, G2, ..., Gk总体的概率（该概率在判别分析前出现，也称先验概率）。

没有考虑错判造成的损失。

Bayes判别法正是为了解决上述缺点而提出的。它将Bayes统计思想用在了判别分析上：假设已知样本出现在各个总体Gi的概率即先验概率P(Gi)的，在此基础上根据样本的信息，确定所观察到的样本属于各个总体Gi的概率（即后验概率）。该判别法根据后验概率对样本进行归类。

以下两种情形计算出来的判别函数是一致的：

在Bayes判别法中，考虑错判造成的损失均等。

马氏判别法中，考虑先验概率以及协方差矩阵不全相等。

因此，Bayes判别法中的距离函数可以看作是马氏距离的推广。在SAS判别分析的过程步的输出结果中，又将上述推广的马氏距离称为广义平方距离。

使用Bayes方法需要提前输入先验概率。常见的先验概率有以下几种：

等概率

概率与样本容量成比例

根据历史资料与经验进行估计

下文会在介绍SAS判别分析的过程步时，逐一介绍上述几种概率的设置方法。

3. Fisher判别法

Fisher判别法的基本思想是投影，具体地说，就是将k维数据投影到某一个方向，使得投影后类间的差异最大。在判定类间差异的问题上，Fisher借鉴了一元方差的基本思想。由于Fisher判别法对总体的分布没有任何要求，因此该判别法也被称为典型判别法。

为了更好地理解Fisher判别法，现在考虑两类总体的判别。如图14.1所示，训练样本有两个类别，若将其沿着坐标的X或Y方向投影，它们之间的区别都不是很显著（在实际计算中，可以通过不同类别间均值差异来衡量区分效果）。可是如果将坐标旋转至X'Y'方向，将样本沿着X'方向投影于Y'轴上，可以看出，投影后类别间的区分效果就比较好了。

图14.1两类总体的Fisher判别

把上述过程推广到多维的情形。在多维的情形下，好的投影是使得变换（即几何上的旋转坐标轴）后同类别的点尽可能在一起，不同类别的样本点尽可能的分离。Fisher判别法的实质是在寻找一个最能反映类与类之间差异的投影方向，即线性判别函数。一个好的线形判别函数U(X)=C'X，在k个总体G1, G2, ..., Gk中去求均值，所得到的k个值，应当有较大的离差，这就是Fisher准则。这里，离差的意义如下：

其中，为来自k个总体的样本（即来自这些总体的一维或多维随机向量）；Ei和Di表示在第i个总体中的均值和方差。

当确定线形判别函数U(X)之后，计算U(X)到各个总体的距离，判定为来自距离最小的那个总体。

当训练样本数据集中的类数太多时，一个判别函数可能不能很好地区别类别，这时候就需要寻找第二个甚至更多的判别函数。一般认为，当前所有的判别函数的效率达到85%以上即可。