1.4 概率分布与参数估计

总体：我们把研究对象的整体经过试验所可能出现结果的集合称为总体。

样本：从研究的总体中抽取部分作为研究的对象，称为总体的样本。

参数估计：利用从总体中抽取样本的方法估计得到总体分布中未知参数的方法，叫作参数估计。一般来说它分为点估计和区间估计两类。常见的参数估计方法有：矩估计方法、最小二乘估计方法、最大似然估计方法。

最小二乘估计方法：利用一元线性方程拟合一组样本Xi、Yi，让预测值和观察值Yi残差εi的平方和最小的估计方法叫作最小二乘法估计。估计的参数表示为：

通过利用最小二乘法，找出如表1-3所示的测量数据的一元回归方程。

二项分布：假设一个可重复的实验只有A或者A两种结果发生，如果试验重复n次，出现k次A结果的概率为：

正态分布：随机变量X服从均值为μ，且方差为σ2的分布称为正态分布或高斯分布，记为：

X～N（μ，σ2）

概率密度函数为：

由图1-1可知，均值决定了曲线的位置，方差决定了曲线的高矮。

当μ=0，σ=1时称为标准正态分布，公式简化为：

最大似然估计方法：假设样本是Xi={X1，X2，…，Xn}，未知的估计参数为θ，待优化的目标函数为f（X1，X2，…，Xn|θ）。如果能够从总体中抽取几种样本的组合，使得样本组合的概率最大，那么参数估计问题就可以简单地转换成如下的最优化问题。

1）假设样本Xi={X1，X2，…，Xn}是独立同分布的，L（X1，X2，…，Xn|θ）为包含估计参数的似然函数：

2）令方程的两边取对数，简化方程的运算复杂度得：

3）对方程两边的算式求导（如果该似然函数的导数存在），令另一侧等于0：

4）求解似然方程得到L（θ）的估计值。

最大似然函数的思想可以基本理解为：

·已知某个总体下的随机样本满足某种概率分布。

·概率分布的参数是未知的。

·经过反复试验某个参数值能够使得样本出现的概率最大，那么就把这个参数值当作最大似然估计近似值。

例题

如果一个总体服从正态分布X～N（μ，σ2），其中μ，σ2是未知的参数。假设X是来自于总体的一个抽样样本，它的值可以表示为x1，x2，…，xn。用极大似然函数来求解未知参数。

解：X的概率密度可以表示为：

得到似然函数

方程两边取对数

对两个参数μ，σ2求导

得到极大似然估计结果：