极大似然估计

参数估计中一种常用的估计方法。建立在极大似然原理的基础上。设随机变量具有概率分布或分布函数f(x;θ),θ∈Θ,(ξ₁…ξ_n)是取自总体ξ的一个样本。它的联合概率分布或密度函数f(x₁;θ)…f(x_n;θ)是θ的函数，称为这个样本的似然函数，记做L(θ;x₁，…，x_n)=f(x₁;θ)……f(x_n;θ)。根据极大似然原理，只须求出使似然函数L(θ,x₁，…，x_n)达到最大值的θ^_L作为θ的估计，即L(θ^_L;x₁，…，x_n)=max 这里θ^_L成为参数θ的最大似然估计值。用样本(ξ₁…ξ_n)替代(x₁…x_n)所得的θ^_L(ξ₁…ξ_n)称为θ的极大似然估计量。在总体分布已知时，是寻求参数估计的一种较好方法。常被应用于测验分数统计中。

极大似然估计Maximum likelihood estimate

极大似然估计是参数点估计的最重要方法之一，由美国统计学家费暄1912年提出。设样本(x₁,x₂，…，x_n)抽自密度分布为f (x,θ) 的总体X，则随机变量(x₁,x₂，…，x_n) 的联合分布密度是：

L (x₁, x₂, …，x_n; θ) =f_i(x_i,θ)

称L为似然函数。当θ已知时，似然函数L描述了样本取得具体的样本值的可能性。如果把x看做常量，θ看做变量，则对于一组取定的样本值使得似然函数为最大的θ，叫做θ的极大似然估计，即对θ的一切其他可能取值θ′; 均有f_i(x_i, θ) >f_i(x_i,θ′)。根据函数求极值的方法，对函数求θ的偏导数并令其等于0，有：

就可以求出θ的极大似然估计。极大似然法的思路是很直观的，在已经了解总体的分布后，要估计总体的参数θ，有理由认为所得到的观测值，都是在一定的参数下所最可能出现的数值。根据这种思路反过来求总体参数，得到的就是极大似然估计。