从朴素贝叶斯分类器到贝叶斯网络

一、贝叶斯公式（一些必备的数学基础）

贝叶斯（Thomas Bayes）是生活在十八世纪的一名英国牧师和数学家。因为历史久远，加之他没有太多的著述留存，今天的人们对贝叶斯的研究所知甚少。唯一知道的是，他提出了概率论中的贝叶斯公式。但从他曾经当选英国皇家科学学会会员（类似于院士）来看，他的研究工作在当时的英国学术界已然受到了普遍的认可。

事实上，在很长一段时间里，人们都没有注意到贝叶斯公式所潜藏的巨大价值。直到二十世纪人工智能、机器学习等崭新学术领域的出现，人们才从一堆早已蒙灰的数学公式中发现了贝叶斯公式的巨大威力。为了方便后续内容的介绍，这里我们先来简单复习一下概率论中的一些基本知识。

事件A在另外一个事件B已经发生条件下的发生概率，称为条件概率，记为P(A|B)。

两个事件共同发生的概率称为联合概率。A与B的联合概率表示为 P(AB) 或者P(A,B)。

进而有，P(AB) = P(B)P(A|B)=P(A)=P(B|A)。这也就导出了最简单形式的贝叶斯公式，即

P(A|B)=P(B|A)*P(A)/P(B)

以及条件概率的链式法则

P(A1,A2,...,An) = P(An|A1,A2,...,An-1)P(An-1|A1,A2,...,An-2)...P(A2|A1)P(A1)

概率论中还有一个全概率公式

由此可进一步导出完整的贝叶斯公式

二、朴素贝叶斯分类器（Naïve Baysian classifier）

分类是机器学习和数据挖掘中最基础的一种工作。假设现在我们一组训练元组（Training tuples），或称训练样例，以及与之相对应的分类标签（Class labels）。每个元组都被表示成n维属性向量X=(x1, x2, ..., xn)的形式，而且一共有K个类，标签分别为C1, C2, ..., Ck。分类的目的是当给定一个元组X时，模型可以预测其应当归属于哪个类别。

朴素贝叶斯分类器的原理非常简单，就是基于贝叶斯公式进行推理，所以才叫做“朴素”。对于每一个类别Ci, 利用贝叶斯公式来估计在给定训练元组X时的条件概率p(Ci|X)，即

P(Ci|X) = P(X|Ci)P(Ci)/P(X)

当且仅当概率P(Ci|X)在所有的P(Ck|X)中取值最大时，就认为X属于Ci。更进一步，因为P(X)对于所有的类别来说都是恒定的，所以其实只需要P(Ci|X) = P(X|Ci)P(Ci)最大化即可。

应用朴素贝叶斯分类器时必须满足条件：所有的属性都是条件独立的。也就是说，在给定条件的情况下，属性之间是没有依赖关系的。即

为了演示贝叶斯分类器，来看下面这个例子。我们通过是否头疼、咽痛、咳嗽以及体温高低来预测一个人是普通感冒还是流感。

上面是我们提供的训练数据。现在有一个病人到诊所看病，他的症状是：severeheadache,  no soreness, normaltemperature and with cough。请问他患的是普通感冒还是流感？分析易知，这里的分类标签有Flu 和Cold两种。于是最终要计算的是下面哪个概率更高。

P( Flu| Headache = severe, Sore = no,Temperature = normal, Cough = yes)

≅P(Flu)*P(Headache= severe|Flu)*P(Sore= no|Flu)*P(Temperature= normal |Flu)*P(Cough = yes|Flu)

P( Cold| Headache = severe, Sore = no,Temperature = normal, Cough = yes)

≅P(Cold)*P(Headache= severe|Cold)*P(Sore= no|Cold)*P(Temperature= normal |Cold)*P(Cough = yes |Cold)

为了计算上面这个结果，我们需要通过已知数据（训练数据）让机器自己“学习”（建立）一个“模型”。由已知模型很容以得出下表中的结

以及

e= small value = 10^-7(one can use e to be less than 1/n where n is the number of training instances)

P( Flu| Headache = severe, Sore = no,Temperature = normal, Cough = yes)

= P(Flu)*P(Headache = severe|Flu)*P(Sore= no|Flu)*P(Temperature = normal |Flu)*P(Cough = yes|Flu)

=   3/5   ×  2/3    ×     e     ×        2/3       ×      3/3    = 0.26e

P( Cold| Headache = severe, Sore = no,Temperature = normal, Cough = yes)

~ P(Cold)*P(Headache =severe|Cold)*P(Sore = no|Cold)*P(Temperature = normal |Cold)*P(Cough = yes|Cold)

=  2/5     ×      e        ×      ½       ×   1       ×        ½    = 0.1e

显然P(Flu) > P(Cold)，所以我们的诊断（预测，分类）结果是 Flu。

最后讨论一下朴素贝叶斯分类器的特点（来自网上资料总结，我就不翻译了）：

我们将把贝叶斯网络留待下一篇文章中介绍（未完，待续...）。