极大似然估计法

极大似然的直观想法是：一个随机试验若有若干个可能结果A，B，C，… ，在一次试验中结果A出现了，则认为A出现的概率最大，并且认为在试验的众多条件中，应该是使事件A发生概率为最大的那个条件.我们先看两个例子.

例7.1.7某同学与一位猎人一起去打猎，一只野兔突然从前方窜过，只听一声枪响，野兔应声倒下，试猜测是谁打中的？

解 由于只发一枪便打中，而猎人命中的概率一般大于这位同学命中的概率.故一般会猜测这一枪是猎人射中的.

例7.1.8设有外形完全相同的两个箱子，甲箱有99个白球和1个黑球，乙箱有1个白球和99个黑球.今随机地抽取一箱，然后再从这箱中任取一球，结果发现是白球.问这球是从哪一个箱子中取出的？

解 甲箱中抽得白球的概率

乙箱中抽得白球的概率

由此看到，这只白球是从甲箱中取出的概率比从乙箱中取出的概率要大得多，因此很自然地，我们认为结论“这球是从甲箱中取出的”比结论“这球是从乙箱中取出的”要合理得多，从而可以推断这球是从甲箱取出的.

从上述两个例子可以看到极大似然法的基本思想，下面分别就离散型总体和连续型总体作具体讨论.

（1）离散型总体的情形：设总体X的概率分布为

并称为似然函数.

（2）连续型总体的情形：设总体X的密度函数为f （x；θ），其中θ为未知参数，此时定义似然函数

从上述定义可以看出，求极大似然估计只要两步就可完成，第一步写出似然函数L （θ），第二步是求使L（θ）达到最大值的点.这里θ可以是单个参数或多个参数（向量形式）.

在实际问题中，通常已知离散型总体的概率分布或连续型总体的密度函数，很容易写出似然函数L（θ）的表达式，因此，极大似然估计法的关键在于求L（θ）的最大值点.根据微积分的知识，对θ的可微函数，要使L（θ）取到极大值，必然满足

归纳起来，求极大似然估计的具体步骤为：

（1）求似然函数L（θ）；

例7.1.11设总体X服从指数分布

解得

相应的极大似然估计量为

这与矩估计量相同.

显然，这与例7.1.1中θ的矩估计的结果是不同的.

可以证明，极大似然估计具有下述性质：

这一性质称为极大似然估计的不变性.利用该性质，可以求解一些带复杂结构的参数的极大似然估计，下面举一具体例子.

也即该书中一个句子平均单词数在28个左右.