矩估计 · 极大似然估计 · 区间估计 · 评价标准
覆盖 2022–2026 五套真题 | 概率统计期末核心章节
用样本矩代替总体矩,建立方程求解参数。
$$\text{设 } E X = g(\theta) \quad \Longrightarrow \quad \text{令 } \bar{X} = g(\hat{\theta}) \quad \Longrightarrow \quad \text{解出 } \hat{\theta}$$
本质:样本均值 $\bar{X}$ 依概率收敛于总体均值 $EX$(大数定律),用 $\bar{X}$ 替换 $EX$ 反解参数。
题目:总体 $X$ 服从 Pareto 分布,分布函数 $F(x) = 1 - x^{-\alpha}\;(x \ge 1)$,求 $\alpha$ 的矩估计量。
解:
密度函数:$f(x) = F'(x) = \alpha x^{-\alpha-1}\;(x \ge 1)$
总体均值:
$$E X = \int_1^\infty x \cdot \alpha x^{-\alpha-1}\,dx = \alpha \int_1^\infty x^{-\alpha}\,dx = \alpha \left[ \frac{x^{-\alpha+1}}{-\alpha+1} \right]_1^\infty = \frac{\alpha}{\alpha-1}\quad (\alpha>1)$$令 $\bar{X} = \dfrac{\hat{\alpha}}{\hat{\alpha}-1}$,解得:
$$\boxed{\hat{\alpha} = \frac{\bar{X}}{\bar{X} - 1}}$$
题目:总体 $X$ 密度 $f(x) = \theta x^{\theta-1}\;(0 < x < 1)$,求 $\theta$ 的矩估计量。
解:
总体均值:
$$E X = \int_0^1 x \cdot \theta x^{\theta-1}\,dx = \theta \int_0^1 x^{\theta}\,dx = \theta \cdot \frac{1}{\theta+1} = \frac{\theta}{\theta+1}$$令 $\bar{X} = \dfrac{\hat{\theta}}{\hat{\theta}+1}$,解得:
$$\boxed{\hat{\theta} = \frac{\bar{X}}{1 - \bar{X}}}$$
选择使样本出现概率最大的参数值作为估计。
$$\hat{\theta}_{\text{MLE}} = \arg\max_{\theta} \; L(\theta) = \arg\max_{\theta} \prod_{i=1}^{n} f(x_i; \theta)$$
题目:总体 $X$ 密度为
$$f(x;\theta) = \begin{cases} \theta, & 0 < x < 1 \\ 1-\theta, & 1 \le x < 2 \\ 0, & \text{其他} \end{cases}$$求 $\theta$ 的极大似然估计量。
解:
设 $n$ 个样本中有 $N$ 个落在 $(0,1)$ 内,则 $(n-N)$ 个落在 $[1,2)$ 内。
似然函数:$L(\theta) = \theta^N \cdot (1-\theta)^{n-N}$
取对数:$\ln L = N\ln\theta + (n-N)\ln(1-\theta)$
求导:$\dfrac{d}{d\theta}\ln L = \dfrac{N}{\theta} - \dfrac{n-N}{1-\theta} = 0$
解得 $\theta = \dfrac{N}{n}$
$$\boxed{\hat{\theta} = \frac{N}{n}}$$
$N$ = 样本落在 $(0,1)$ 内的个数,意义是频率估计概率。
题目:Pareto 分布 $f(x) = \alpha x^{-\alpha-1}\;(x \ge 1)$,求 $\alpha$ 的极大似然估计量。
解:
似然函数:$L(\alpha) = \displaystyle\prod_{i=1}^{n} \alpha x_i^{-\alpha-1} = \alpha^n \prod_{i=1}^{n} x_i^{-\alpha-1}$
取对数:$\ln L = n\ln\alpha - (\alpha+1)\displaystyle\sum_{i=1}^{n} \ln x_i$
求导:$\dfrac{d}{d\alpha}\ln L = \dfrac{n}{\alpha} - \displaystyle\sum_{i=1}^{n} \ln x_i = 0$
$$\boxed{\hat{\alpha} = \frac{n}{\sum_{i=1}^{n} \ln X_i}}$$
题目:$f(x) = \theta x^{\theta-1}\;(0 < x < 1)$,求 $\theta$ 的极大似然估计量。
解:
似然函数:$L(\theta) = \displaystyle\prod_{i=1}^{n} \theta x_i^{\theta-1} = \theta^n \left(\prod_{i=1}^{n} x_i\right)^{\theta-1}$
取对数:$\ln L = n\ln\theta + (\theta-1)\displaystyle\sum_{i=1}^{n} \ln x_i$
求导:$\dfrac{d}{d\theta}\ln L = \dfrac{n}{\theta} + \displaystyle\sum_{i=1}^{n} \ln x_i = 0$
$$\boxed{\hat{\theta} = -\frac{n}{\sum_{i=1}^{n} \ln X_i}}$$
题目:总体 $X \sim U(0, \theta)$,求 $\theta$ 的 MLE,并证明其是否无偏。
解:
密度:$f(x) = \dfrac{1}{\theta}\;(0 < x < \theta)$,似然函数 $L(\theta) = \dfrac{1}{\theta^n}$,约束 $\theta \ge \max\{x_i\}$。
$L(\theta)$ 关于 $\theta$ 递减,$\therefore$ $\theta$ 越小越好,但受约束 $\theta \ge X_{(n)}$。
$$\boxed{\hat{\theta} = X_{(n)} = \max\{X_1, X_2, \ldots, X_n\}}$$
无偏性检验:
$X_{(n)}$ 的密度:$f_{(n)}(x) = n \cdot \dfrac{x^{n-1}}{\theta^n}\;(0 < x < \theta)$
$$E\hat{\theta} = \int_0^\theta x \cdot n\frac{x^{n-1}}{\theta^n}\,dx = \frac{n}{\theta^n} \cdot \frac{\theta^{n+1}}{n+1} = \frac{n}{n+1}\theta \neq \theta$$$\hat{\theta} = X_{(n)}$ 不是无偏估计,但 $\dfrac{n+1}{n}X_{(n)}$ 是无偏估计。
| 维度 | 矩估计 | 极大似然估计 (MLE) |
|---|---|---|
| 原理 | 样本矩 = 总体矩,解方程 | 选使样本出现概率最大的 $\theta$ |
| 步骤数 | 3 步:求 $EX$ → 令 $=\bar{X}$ → 解 $\hat{\theta}$ | 4 步:写 $L$ → 取 $\ln$ → 求导 → 解 $\hat{\theta}$ |
| 优点 | 计算简单,不依赖分布具体形式 | 渐近有效,大样本下方差最小;具有不变性 |
| 缺点 | 可能不在参数空间内;效率不如 MLE | 需要知道分布形式;可能无显式解(需数值求解) |
| 考试分值 | 约 3–5 分(常与 MLE 放在同一大题) | 约 5–8 分(点估计核心方法) |
| 真题频率 | 近 5 套出现 3 次 | 近 5 套每套必考 |
💡 考试策略:同一题往往先考矩估计,再考 MLE。矩估计用 $\bar{X}$ 表达,MLE 用 $\sum\ln X_i$ 表达。做完后互验:代入特殊样本值看两个估计是否接近。
估计量的期望等于参数真值:
$$E(\hat{\theta}) = \theta$$
常见无偏估计:
$\bar{X}$ 是 $\mu$ 的无偏估计
$S^2 = \frac{1}{n-1}\sum(X_i-\bar{X})^2$ 是 $\sigma^2$ 的无偏估计
注意:$\frac{1}{n}\sum(X_i-\bar{X})^2$ 是有偏的!
在多个无偏估计中,方差最小者最优:
$$\text{若 } E\hat{\theta}_1 = E\hat{\theta}_2 = \theta,\; D\hat{\theta}_1 < D\hat{\theta}_2 \;\Longrightarrow\; \hat{\theta}_1 \text{ 更有效}$$核心思想:无偏保证了"瞄得准",有效保证了"打得稳"。先看无偏,再比方差。
题目:设 $\hat{\mu}_1, \hat{\mu}_2, \hat{\mu}_3, \hat{\mu}_4$ 都是 $\mu$ 的无偏估计,方差分别为 $D\hat{\mu}_1 = \frac{\sigma^2}{n},\; D\hat{\mu}_2 = \frac{\sigma^2}{2n},\; D\hat{\mu}_3 = \frac{2\sigma^2}{n},\; D\hat{\mu}_4 = \frac{\sigma^2}{3n}$,则最有效的是?
解:四个都无偏,直接比较方差大小。
$D\hat{\mu}_4 = \frac{\sigma^2}{3n} < D\hat{\mu}_2 = \frac{\sigma^2}{2n} < D\hat{\mu}_1 = \frac{\sigma^2}{n} < D\hat{\mu}_3 = \frac{2\sigma^2}{n}$
$$\boxed{\hat{\mu}_4 \text{ 最有效(方差最小)}}$$
样本容量 $n \to \infty$ 时,估计量依概率收敛于真值:
$$\hat{\theta}_n \xrightarrow{P} \theta \quad (n \to \infty)$$矩估计和 MLE 在正则条件下都是相合估计。考试中较少单独命题,常在"判断以下说法的正误"出现。
| 估计对象 | 条件 | 置信区间 | 分布 |
|---|---|---|---|
| 均值 $\mu$ | $\sigma^2$ 已知 | $\bar{X} \pm z_{\alpha/2} \cdot \dfrac{\sigma}{\sqrt{n}}$ | $N(0,1)$ |
| 均值 $\mu$ | $\sigma^2$ 未知 | $\bar{X} \pm t_{\alpha/2}(n-1) \cdot \dfrac{S}{\sqrt{n}}$ | $t(n-1)$ |
| 方差 $\sigma^2$ | $\mu$ 未知 | $\left[\dfrac{(n-1)S^2}{\chi^2_{\alpha/2}(n-1)},\; \dfrac{(n-1)S^2}{\chi^2_{1-\alpha/2}(n-1)}\right]$ | $\chi^2(n-1)$ |
关键区分:$\sigma^2$ 已知用 $z$,$\sigma^2$ 未知用 $t$。
$\chi^2$ 区间不对称:下界分母大($\chi^2_{\alpha/2}$),上界分母小($\chi^2_{1-\alpha/2}$)。
题目:钢筋抗拉强度 $X \sim N(\mu, \sigma^2)$。抽取 10 根,测得 $\bar{x} = 520,\; s = 12$。求:
(1) $\mu$ 的 95% 置信区间 (2) $\sigma^2$ 的 95% 置信区间
解 (1):$\sigma^2$ 未知,用 $t$ 分布。$n=10,\; \alpha=0.05,\; t_{0.025}(9) = 2.262$
$$\bar{x} \pm t_{\alpha/2}(n-1) \cdot \frac{s}{\sqrt{n}} = 520 \pm 2.262 \times \frac{12}{\sqrt{10}}$$ $$= 520 \pm 2.262 \times 3.795 \approx 520 \pm 8.58$$$\mu$ 的 95% CI:$$\boxed{[511.42,\; 528.58]}$$
解 (2):用 $\chi^2$ 分布。$\chi^2_{0.025}(9) = 19.023,\; \chi^2_{0.975}(9) = 2.700$
$$\left[\frac{(n-1)s^2}{\chi^2_{\alpha/2}(n-1)},\; \frac{(n-1)s^2}{\chi^2_{1-\alpha/2}(n-1)}\right] = \left[\frac{9 \times 144}{19.023},\; \frac{9 \times 144}{2.700}\right]$$$\sigma^2$ 的 95% CI:$$\boxed{[68.13,\; 480.00]}$$
题目:学生成绩 $X \sim N(\mu, \sigma^2)$。随机抽 16 人,$\bar{x}=75,\; s=8$。求 $\mu$ 的 95% 置信区间。
解:$\sigma^2$ 未知,用 $t$ 分布。$n=16,\; \alpha=0.05,\; t_{0.025}(15) = 2.131$
$$\bar{x} \pm t_{\alpha/2}(n-1) \cdot \frac{s}{\sqrt{n}} = 75 \pm 2.131 \times \frac{8}{4} = 75 \pm 2.131 \times 2$$$\mu$ 的 95% CI:$$\boxed{[70.74,\; 79.26]}$$
给定允许误差 $d$ 和置信水平 $1-\alpha$,所需样本量:
$\sigma$ 已知:
$$n \ge \left(\frac{z_{\alpha/2} \cdot \sigma}{d}\right)^2$$估计比例 $p$:
$$n \ge \frac{z_{\alpha/2}^2 \cdot p(1-p)}{d^2}$$注:$p$ 未知时取 $p=0.5$(最保守),此时 $n \ge \dfrac{z_{\alpha/2}^2}{4d^2}$。
若含两个参数,再加 $EX^2$ 或 $DX$ 建立第二个方程。
边界情况:若 $L$ 单调,取参数空间边界值(如均匀分布)。
| 场景 | 公式 | 查表 |
|---|---|---|
| $\mu$,$\sigma^2$ 已知 | $\bar{X} \pm z_{\alpha/2} \cdot \sigma/\sqrt{n}$ | 正态分位数表 |
| $\mu$,$\sigma^2$ 未知 | $\bar{X} \pm t_{\alpha/2}(n-1) \cdot S/\sqrt{n}$ | $t$ 分布表,自由度 $n-1$ |
| $\sigma^2$ | $\left[\frac{(n-1)S^2}{\chi^2_{\alpha/2}(n-1)},\; \frac{(n-1)S^2}{\chi^2_{1-\alpha/2}(n-1)}\right]$ | $\chi^2$ 分布表,自由度 $n-1$ |
| $\mu_1-\mu_2$(双样本) | $(\bar{X}-\bar{Y}) \pm z_{\alpha/2}\sqrt{\frac{\sigma_1^2}{n_1}+\frac{\sigma_2^2}{n_2}}$ | 正态分位数表 |
常用分位数: $z_{0.025}=1.96,\; z_{0.05}=1.645,\; z_{0.005}=2.576$ $t_{0.025}(9)=2.262,\; t_{0.025}(15)=2.131,\; t_{0.025}(24)=2.064$
| 学期 | 题型 | 考点 | 分值 |
|---|---|---|---|
| 2022-2023 | 第七题(计算) 第八题(计算) | 分段密度 MLE 均值+方差区间估计 | 8 + 10 = 18 |
| 2023-2024 | 第七题(计算) | Pareto 分布:矩估计 + MLE | 12 |
| 2024-2025 | 选择 5 第七题(计算) | 估计量有效性比较 幂函数:矩估计 + MLE | 3 + 12 = 15 |
| 2025-2026(1) | 第七题(计算) 第八题(计算) | 均值区间估计 均匀分布 MLE + 无偏性 | 8 + 10 = 18 |
| 2025-2026(2) | 第七题(计算) 第八题(计算) | 矩估计 + MLE 区间估计 | 10 + 8 = 18 |
结论:参数估计每套稳定占 15–18 分,是期末考试的第一大核心模块。MLE 必考,区间估计必考,矩估计高频。熟练掌握本章 = 期末保底 15 分。