登录
首页精彩阅读机器学习实现与分析之五(高斯判别分析)
机器学习实现与分析之五(高斯判别分析)
2017-03-15
收藏

机器学习实现与分析之五(高斯判别分析)

高斯判别分析(GDA)简介


首先,高斯判别分析的作用也是用于分类。对于两类样本,其服从伯努利分布,而对每个类中的样本,假定都服从高斯分布,则有:

这样,根据训练样本,估计出先验概率以及高斯分布的均值和协方差矩阵(注意这里两类内部高斯分布的协方差矩阵相同),即可通过如下贝叶斯公式求出一个新样本分别属于两类的概率,进而可实现对该样本的分类。


GDA详细推导


那么高斯判别分析的核心工作就是估计上述未知量ϕ,μ0,μ1,Σϕ,μ0,μ1,Σ。如何来估计这些参数?又该最大似然估计上场了。其对数似然函数为:

注意此函数第一部分只和μ0,Σμ0,Σ有关,第二部分只和μ1,Σμ1,Σ有关,最后一部分只和ϕϕ有关。最大化该函数,首先求ϕϕ,先对其求偏导数:

此处II为指示函数。令其为0,可求解出:

同样地,对μ0μ0求偏导数:

令其为0,可求解得:

根据对称性可直接得出:

下面对ΣΣ求偏导数,由于似然函数只有前面两部分与ΣΣ有关,则将前两部分改写如下:

进而有:

这里推导用到了:

令其为0,从而求得:

上面的推导似乎很复杂,但其结果却是非常简洁。通过上述公式,所有的参数都已经估计出来,需要判断一个新样本x时,可分别使用贝叶斯求出p(y=0|x)和p(y=1|x),取概率更大的那个类。

实际计算时,我们只需要比大小,那么贝叶斯公式中分母项可以不计算,由于2个高斯函数协方差矩阵相同,则高斯分布前面那相同部分也可以忽略。实际上,GDA算法也是一个线性分类器,根据上面推导可以知道,GDA的分界线(面)的方程为:

取对数展开后化解,可得:

,则

这就是GDA算法的线性分界面。


GDA实现


这里也采用前面讲逻辑回归生成的数据来进行实验,直接load进来进行处理,详见逻辑回归。GDA训练代码如下:

View Code

测试代码:

View Code

训练结果如下,训练样本中,正负样本均为100个,故ϕ=0.5:

改变正负样本数量,即相当于改变先验概率,则实验结果如下(相应的ϕϕ的值显示在图像标题):

   


算法分析


1.与逻辑回归的关系

根据上面的结果以及贝叶斯公式,可有

那么,令

这不就是逻辑回归的形式么?

在推导逻辑回归的时候,我们并没有假设类内样本是服从高斯分布的,因而GDA只是逻辑回归的一个特例,其建立在更强的假设条。故两者效果比较:

a.逻辑回归是基于弱假设推导的,则其效果更稳定,适用范围更广

b.数据服从高斯分布时,GDA效果更好

c.当训练样本数很大时,根据中心极限定理,数据将无限逼近于高斯分布,则此时GDA的表现效果会非常好


2.为何要假设两类内部高斯分布的协方差矩阵相同?

从直观上讲,假设两个类的高斯分布协方差矩阵不同,会更加合理(在混合高斯模型中就是如此假设的),而且可推导出类似上面简洁的结果。

假定两个类有相同协方差矩阵,分析具有以下几点影响:

A.当样本不充分时,使用不同协方差矩阵会导致算法稳定性不够;过少的样本甚至导致协方差矩阵不可逆,那么GDA算法就没法进行

B.使用不同协方差矩阵,最终GDA的分界面不是线性的,同样也推导不出GDA的逻辑回归形式


3.使用GDA时对训练样本有何要求?

首先,正负样本数的比例需要符合其先验概率。若是预先明确知道两类的先验概率,那么可使用此概率来代替GDA计算的先验概率;若是完全不知道,则可以公平地认为先验概率为  50%。

其次,样本数必须不小于样本特征维数,否则会导致协方差矩阵不可逆,按照前面分析应该是多多益善。


数据分析咨询请扫描二维码

客服在线
立即咨询