贝叶斯算法是机器学习中主要的十大算法之一，什么是贝叶斯？

贝叶斯观点认为，概率是一个人对于一个事件发生的信心，即认为一个事件有多大的可能性会发生。如果认为一定会发生，概率就是1；认为一定不会发生，概率就是0；有可能发生，概率就介于0-1之间。

这种概率会随着观测数据的变化而变化。一开始我们没有数据，只能根据原有经验猜测一个大概的概率，称为先验概率。随着观测数据的积累，我们会逐渐修正我们的先验概率，修正后的概率称为后验概率。数据越多，我们的后验概率就越接近于真实的情况。

贝叶斯的公式简单推导：

假设A、B是两个事件，两者同时发生的概率记为P(AB)。

分步来看，AB同时发生的概率=A发生的概率×A发生的情况下B发生的概率。

写成公式就是：

P(AB) = P(A)P(B|A)

这里的AB是对称的，所以也可以写成：

P(AB)  = P(B)P(A|B)

也就是说：

P(A)P(B|A) = P(B)P(A|B)

两边除以P(A):

P(B|A) = (P(B)P(A|B)) / P(A)

这就是贝叶斯公式的基本形式。

在实际应用中，我们把B称为假设，用H表示，把A称为证据或数据，用D表示，贝叶斯公式变成：

P(H|D) = (P(H)P(D|H)) / P(D)

我们从另外的角度来看这个公式：

（1）左边的P(H|D)是指在证据的情况下假设发生的概率，称为后验概率。

（2）右边的P(H)是在没有任何证据的情况下H发生的概率，称为先验概率。

（3）右边的P(D|H)是在该假设发生的情况下，出现该证据的概率，称为似然度。

（4）右边的P(D)是一个归一化因子，保证所有概率之和等于1。数值上来说，它等于所有假设下先验概率与似然度乘积的和，即所有假设下分子的和。

其中后验概率是我们想知道的，先验概率是已知的，似然度也可以根据已知的数据去算得。

这里解释一下什么是假设。假设是一个随机变量的所有可能发生的情况，比如考试结果有及格和不及格两种情况，及格或不及格都是考试结果的一种假设。这里的假设要满足两个条件：

（1）互斥性：及所以假设中最多只有一个假设会发生。

（2）完备性：假设必须包含所有情况，且至少有一个假设会发生。

贝叶斯推断的步骤：

贝叶斯的典型应用是求某一个特定假设的后验概率。

（1）第一步：找出所有可能的假设。

（2）第二步：求出所有假设的先验概率。

（3）第三步：求出所有假设的似然度。

（4）第四步：对于各种假设，用先验概率乘以似然度，然后归一化，根据贝叶斯公式求出后验概率。