最大后验估计MAP是什么?它是怎么推导出来的?
2020-07-08
3066
最大后验估计(maximum a posteriori probability estimate), 简称为MAP。在贝叶斯统计学中,最大后验估计是通过利用经验数据获得对未观测量的点态估计。
与极大似然估计类似,不同的是,在似然函数后面多乘了一项:“待估计参数的先验分布”。MAP介绍这个参数服从一个分布,既参数取到每个值的可能性不是相等的,而是服从一个分布的。而MLE的参数是不服从分布的(或者说服从均匀分布,因此取到每一值是均可能的。)。所以也可以说最大后验估计是规则化的极大似然估计。最大后验估计等价于曲线拟合中的正则化的最小二乘法,也是假设model的参数是确定量,但是值未定。由于引入了先验概率,可以抑制过拟合现象。
最大后验估计MAP是根据贝叶斯定理先验转后验推导出来的:
根据贝叶斯理论,对于θ的后验分布:
后验分布的目标为:
(分母
为f(x),是固定值)
MAP认为,θ是一个随机变量,其先验概率密度函数是已知的,为P(θ),所以其目标为:
可以把最大后验估计看做是贝叶斯估计的一种特定形式。