最近自己对机器学习比较感兴趣,做个笔记,还请大牛不喜轻喷,多多指教。
朴素贝叶斯分类基于概率论中的贝叶斯原理:
P(A|B) = P(B|A)*P(A)/P(B)
所谓朴素即是特征属性之间相互独立的对分类结果发生影响。
所以对应的概率公式可改写为P(c|x) = P(x|c)|p(c) / P(x)
其中:
P(c) 是类‘先验概率’
P(x|c) 是样本x对于类标记c的类条件概率(或称似然)
P(x)叫做证据因子
由于朴素贝叶斯假定所有特征属性独立,所以
P(x|c)= P(x1,x2,…xn|c) = P(x1|c)P(x2|c) …P(xn|c)
P(x) = P(x1) * P(x2) * … * P(xn)
所以
P(c|x) = P(x1,x2,…xn|c) = P(x1|c)P(x2|c) …P(xn|c) * P(c) /
p(x)。 因为 P(c) / p(x)是固定值,所以我们一般只需要计算P(x|c),找出最大似然即可
Ps:
对于离散属性而言,P(x1|c) = 训练集中属性为x1且分类为c的数目|训练集中分类c的数目
对于离散属性而言,一般假定其概率分布为高斯分布
取个例1:
症状 职业 疾病
打喷嚏 护士 感冒
打喷嚏 农夫 过敏
头痛 建筑工人 脑震荡
头痛 建筑工人 感冒
打喷嚏 教师 感冒
头痛 教师 脑震荡
现在又来了是一个打喷嚏的建筑工人。请问他患上感冒的概率有多大?
由上可知
求P(感冒|打喷嚏建筑工人) = P(建筑工人|感冒) P(打喷嚏|感冒) * P(感冒) / P(建筑工人) * P(打喷嚏)
P(建筑工人|感冒) = 1/3
P(打喷嚏|感冒) = 2/3
P(感冒) = 3/6 = 1/2
P(建筑工人) = 2/6 = 1/3
P(打喷嚏) = 3/6 = 1/2
所以
P(感冒|打喷嚏*建筑工人) = (1/3 * 2/3 * 1/2 ) / (1/3 * 1/2) = 2/3
再取个例2(来自机器学习(周志华)):
我们要求一个:
根据朴素贝叶斯定理:
我们有
P(好瓜=是|色泽=青绿,根蒂=蜷缩,敲声=浊响,纹理=清晰,脐部=凹陷,触感=硬滑,密度=0.697,含糖率=0.46) =
P(色泽=青绿|好瓜=是) * P(根蒂=蜷缩|好瓜=是) * P(敲声=浊响|好瓜=是) * P(纹理=清晰|好瓜=是) *
P(脐部=凹陷|好瓜=是) * P(触感=硬滑|好瓜=是) * P(密度=0.697|好瓜=是) * P(含糖率=0.46|好瓜=是) *
P(好瓜=是) / (P(色泽=青绿) * P(根蒂=蜷缩) * P(敲声=浊响) * P(纹理=清晰) * P(脐部=凹陷)
* P(触感=硬滑) * P(密度=0.697) * P(含糖率=0.46))
P(好瓜=是) = 8/17
P(色泽=青绿|好瓜=是) = 3/8
…
(好瓜=是的瓜密度均值为0.574, 方差 = 0.129)
P(色泽=青绿|好瓜=是) = exp(-(0.697-0.574)^2 / 2*0.129)) / sqrt((2*π)*0.129) ≈ 1.959
…
结果P(好瓜=是|色泽=青绿,根蒂=蜷缩,敲声=浊响,纹理=清晰,脐部=凹陷,触感=硬滑,密度=0.697,含糖率=0.46) = 0.038
同理
P(好瓜=否|色泽=青绿,根蒂=蜷缩,敲声=浊响,纹理=清晰,脐部=凹陷,触感=硬滑,密度=0.697,含糖率=0.46) =0.000068
所以分类到好瓜中。
特别的,如果样本中有,但是训练集中没有,这样就有可能导致分类不合理。
例如在例1 中 如果样本中出现职业一个打喷嚏的学生,那么最后算出来的结果,P(感冒|打喷嚏*学生) = 0,很明显是不对的。
拉普拉斯修正修正原理很简单:设Ni对于分类为c第i个特征属性的可能取到的类别数目
,那么:
P(xi|c) =( |Dc,xi|+1) / (|Dc|+Ni )
其中 |Dc,xi| 表示训练集中分类为c的特征属性为xi的数目, |Dc| 表示训练集中分类为c的数目。
在例1 经过修正后
P(建筑工人|感冒) = (1+1)/(3+4) = 2/7
P(打喷嚏|感冒) = (2+1)/(3+2) =3/5
P(感冒) = 3/6 = 1/2
P(建筑工人) = 2/6 =1/3
P(打喷嚏) = 3/6 = 1/2
P(感冒|打喷嚏建筑工人) = P(建筑工人|感冒)P(打喷嚏|感冒) * P(感冒) / P(建筑工人) * P(打喷嚏) = (2/7 * 3/71/2) / (1/31/2) = 2/35
数据分析咨询请扫描二维码