贝叶斯(Bayes)方法

---

在数理统计领域中由贝叶斯学派所倡导的统计推断方法称作贝叶斯方法。

基本观点是：对于做统计推断的人来说，所有的数量可分为两类，一类是已知的量，是确定的，可用它所取的数值来描述；另一类是未知的，不确定的，用概率分布来描述。

设随机变量X有分布密度p(x｜θ)，其中θ是未知参数，是统计推断的目标。当θ给定时，x的分布就成为已知的。设θ有分布密度p(θ)，称作θ的“先验分布”。

注意这里的“先验”二字不是哲学概念，而是数理统计的专门术语。在得到x的样本x以后，θ在X=x条件下的分布可由贝叶斯公式计算：

(如果θ的先验分布是离散的，则只需将上式分母中的积分变成相应的求和)。P(θ｜x)称为θ的“后验分布”。由此可以看出，“先验”与“后验”是相对于样本x所提供的信息而言的。

P(θ)是尚未获得这一信息时对于θ的不确定性的认识，而是得到信息后对θ的进一步认识。

得到了后验分布就不难给出θ的点估计，比如取θ的后验均值或众数。也可以求出置信区间，置信水平为1－α的置信区间的端点由不等式决定。

非贝叶斯学派对贝叶斯学派的指责主要在于两个方面，一是不同意把参数看作随机变量，二是在很多问题中关于θ的先验分布不能确切地知道。

尽管如此，非贝叶斯学派的人有时也使用贝叶斯方法，因为用这种方法找出的解有许多优越性，而有些情况下非贝叶斯方法导致不合理的结果。

例如，设有甲、乙两台同类机床，分别加工了1个和10个产品，均为正品，现在要估计它们的正品率各是多少。用极大似然估计可以得到两个机床的正品率均为100%。把两台机床判为无差别是不合理的，连续生产了10个正品的机床应比只生产了1个正品的机床更可靠。用贝叶斯方法就可以得到较为满意的结果。假设对两台机床的先验知识很少，只知道正品率一般不低于50%，那么我们可以取两台机床的正品率θ₁，θ₂的先验分布均为(0．5，1)上的均匀分布，由(1)可以求出θ₁，θ₂的后验分布密度分别为和，进一步算出后验均值，分别为，它们就分别是θ₁与θ₂的贝叶斯估计。

自从1763年贝叶斯的论文发表以来，统计学领域就一直存在著一场论争——传统方法与贝叶斯方法之争。作为统计学的一大流派，贝叶斯学派的阵容日趋强大，贝叶斯方法的影响也越来越深远。

贝叶斯方法与传统方法最根本的分歧，在于对未知参数θ的看法。

在传统方法看来，未知参数仅仅是一个固定的未知数，而贝叶斯方法则把θ看成一个服从某个特定分布的随机变量，这个特定的分布，是人们关于θ的经验的数学描述，称为θ的先验分布。

用贝叶斯方法解决统计问题，就是通过抽样，将先验分布修改成θ关于样本的条件分布——θ的后验分布，而对θ所作的任何统计推断则全部基于后验分布。因为贝叶斯学派认为，关于θ的知识，完全包含在其概率分布中，后验分布则恰好是先验信息与抽样信息的综合，用后验分布作推断完全符合贝叶斯学派的初衷。

诚然，贝叶斯方法在用来处理有些问题时，将θ看成随机变量有些勉强，先验分布也包含很大程度的主观因素，但是，采用贝叶斯方法来处理其他统计问题，则确定可以得到具有许多优越性的结论，贝叶斯方法作为一种处理理论统计问题的工具，其作用是不容忽视的，正因为如此，它也经常被非贝叶斯学派的学者用作一种解决问题的工具。

总之，贝叶斯学派确实已成长为统计中一个很有影响，很有力量的学派，而且其影响程度大有增长之势。