[STAT-05] 假设检验

病理医师

layout:     postdate:       2020-03-11tag:        noteauthor:     BY Zhi-kai Yang

Mar 10, 2020, Still in ZhengZhou
统计推断05： 假设检验

假设检验

定义 假设，hyperthesis 就是关于总体参数的一个陈述
定义 一个假设检验问题中的两个互补假设成为原假设 null hyperthesis 和备选假设 alternative hyperthesis. 分别把他们记做H_0和H_1
在一个假设检验问题中，试验者在观测到样本以后决定是接受H_0为真还是认为其为假而拒绝H_0, 即认为H_1为真。
一个假设检验过程或者说一个假设检验是一个法则，他明确描述：

• 对于哪些样本值应该决定接受H_0为真
  
• 对于哪些样本值应该拒绝H_0 而接受H_1为真
  

那些由拒绝H_0的样本构成的样本空间的子集叫做拒绝域 rejection region. 或临界区域 critical region. 拒绝域的补集叫做接受区域 acceptance region.
检验的求法

似然比检验

定义 关于检验H_{0}: \theta \in \Theta_{0},  对于H_1: \theta \in \Theta_0^C 的似然比检验统计量是
\lambda (x) = \frac{\sup_{\Theta_0} L(\theta|x)}{\sup_\Theta L(\theta|x)}
任何一个拒绝区域的形似为\{ x: \lambda(x) \le c\} 的检验都叫做似然比检验。likelihood ratio test LRT. 这里的c \in [0,1]
定理 设T(X)是关于\theta的一个充分统计量，而\lambda^\star (t)和\lambda(x) 分别是依赖于T和X的LRT统计量，则对于样本空间的每一个x, 有\lambda^\star (T(x)) = \lambda(x)
并-交检验 与 交-并检验

设
H_0: \theta \in \cap_{\gamma\in \Gamma} \Theta_\gamma
则关于并-交检验的拒绝域为
\bigcup_{\gamma \in \Gamma}\left\{\boldsymbol{x}: T_{\gamma}(\boldsymbol{x}) \in R_{\gamma}\right\}
假如任何一个假设H_{0\gamma}被拒绝了，原假设H_0被拒绝。某些情况下，能够求得一个交-并检验的简单的表达式，特别的如果每一个个别检验都具有\{x: T(x) >c \} 形式的拒绝域，这时：
\bigcup_{\gamma \in \Gamma}\left\{\boldsymbol{x}: T_{\gamma}(\boldsymbol{x})>c\right\}=\left\{\boldsymbol{x} \quad: \sup _{\gamma \in \Gamma} T_{\gamma}(\boldsymbol{x})>c\right\}
这样关于H_0的检验统计量就是T(x)= \sup_{\gamma \in \Gamma} T_\gamma(x) , 在一些例子中T(x)有一些简单的形式，这些例子会在之后出现。
用并-交检验构造检验，在原假设被方便地表示成一个交集时是有用的。另一种方法，交-并方法，则当原假设被方便地表示成一个并集时可能是有用的：
H_0 : \theta\in \bigcup_{\gamma \in \Gamma} \Theta_\gamma
交-并检验的拒绝域就是：
\bigcap_{\gamma \in \Gamma } \{x: T(x) \in R_\gamma \}
检验的评价方法

错误概率与功效函数

如果\theta \in \Theta_0 但是假设检验不正确地判定拒绝H_0 ,于是假设检验就犯了第一类错误。另一方面，\theta \in \Theta_0^C 但是假设检验判定接受H_0 ，于是就犯了第二类错误。
定义 一个拒绝区域为R的假设检验的功效函数 power function 是由 \beta(\theta) = P_\theta(X \in R) 定义的函数。
以下两个术语在讨论控制犯第一类错误的概率时是有用的：

• 设$ 0 \le  \alpha \le 1$ ,称一个功效函数\beta(\theta)的检验是真实水平为\alpha的检验size a test 如果\sup_{\theta \in \Theta_0} \beta(\theta) = \alpha
  
• 设$ 0 \le  \alpha \le 1$ ，称一个功效函数\beta(\theta)的检验是水平为\alpha 的检验 level a test 如果\sup_{\theta \in \Theta_0} \beta(\theta) \le \alpha
  

除了水平\alpha 之外，人们还可能关注检验的其他特征，例如，我们乐意使一个检验在\theta \in \Theta_0^C 时更倾向于拒绝H_0, 这就引出所谓无偏检验：
定义 一个功效函数为\beta(\theta) 是检验是无偏都是，如果对每一个\theta' \in \Theta_0^C 和\theta '' \in \Theta_0 有\beta(\theta') \ge \beta(\theta '')
最大功效检验

上节我们控制了犯第一类错误的概率至多为\alpha, 在这样一个类中，一个好检验犯第二类错误的概率也应当小，即当\theta \in \Theta_0^C 时他的功效函数应比较大。如果一个检验犯第二类错误的概率比这类中所有其他检验更小，他理应是这个类中最有检验的强有力的竞争者。以下给出一个形式化定义：
定义 设\mathcal{C} 是一个关于 H_0: \theta \in \Theta_0 对H_1: \theta \in \Theta _0^C 的检验类。 \mathcal{C} 中一个功效函数为\beta(\theta) 的检验是一个一致最大功效\mathcal{C} 类检验，uniformly most powerful (UMP) class C test 如果对每个\theta \in \Theta_0^C 与每个\mathcal{C}中d 功效函数\beta ' (\theta) 都有\beta(\theta) \ge \beta'(\theta)
下面的著名定理清楚地描述了在原假设和备择假设都只含有一个关于样本的概率分布（即H0和H1都是简单假设）的情况，哪些检验是UMP水平为\alpha 的检验：
Neyman-Pearson 引理  考虑检验H_1: \theta =\theta_0 对H_1: \theta = \theta_1， 利用一个拒绝域为R的检验，R 满足对某个k \ge 0:

• 条件1： if f(x|\theta_1) > kf(x|\theta_0) 则 x \in R ;  if f(x|\theta_1) < kf(x|\theta_0) 则 x \in R^C
  
• 条件2： \alpha = P_{\theta_0}(X \in R)
  

则有：

• 充分性： 任意满足条件1，2的检验是一个UMP水平为\alpha的检验
  
• 必要性：如果存在一个满足条件1，2的检验， 则每一个UMP水平为 \alpha的检验是 真实水平\alpha 的检验（满足条件2）
  

上述定理也可推论到一个关于的\theta的充分统计量。
当我们导出一个满足条件1，2的检验，从而是一个UMP水平为\alpha 的检验时，通常易于把不等式写成如\frac{f(x|\theta_1)}{f(x|\theta_0)} >k 的形式。
特别地，断言一个一元参数过大，如H: \theta \ge \theta_0 或过小 \theta \le \theta_0 的假设叫做 单侧假设(one -side hypothesis) . 断言中的参数范围包含大的又包含小的参数值假设，如H: \theta \neq \theta_0 叫做双侧假设 two -sided hypothesis 有很大的一类有UMP水平为\alpha的检验的问题牵涉到单侧假设。
定义 MLR 称一元随机变量具有单调似然比 monotone likelihood ratio MLR 如果对每一个\theta_2 > \theta_1 ， f(x|\theta_2) / f(x|\theta_1) 都是x 单调函数
很多普通的分布族具有MLR. 例如正态分布(方差已知，均值未知)、泊松分布和二项分布。
Karlin-Rubin 定理 考虑检验H_0: \theta \le \theta_0 对H_1: \theta >\theta_0,  设T 是一个关于\theta的充分统计量 且他的pmf\pdf 满足MLR。 则对于任何t_0, “当且仅当 T>t_0 时拒绝H_0” 的检验是一个UMP水平为\alpha 的检验，其中\alpha = P_{\theta_0}(T > t_0)
上述定理反之亦成立，即同样的条件，&#34;拒绝H_0: \theta \ge \theta_0 当且仅当 T< t_0&#34; 的检验也是一个UMP水平为\alpha = P(T<t_0) 的检验。
p-值

定义 p-值 p-value p(X)是一个满足对每一个样本点x ,都有0 \le p(x) \le 1的检验统计量，如果p(X)的值小则可以作为H_1 为真的证据。一个p-值成为是有效的，如果对每一个\theta \in \Theta_0 和每一个0 \le \alpha \le 1 都有
P_\theta(p(X) \le \alpha) \le \alpha
根据上式，当且仅当p(X) \le \alpha 时拒绝H_0 的检验就是一个水平为\alpha的检验。p-值越小，就越强烈地拒绝H_0 。
最普通的定义一个p-值的方法由下述定理给出：
定理  设W(X) 是这样一个检验统计量，如W的值大则可以作为H_1为真的依据，对于每个样本点x, 定义
p(x) = \sup_{\theta \in \Theta_0}P_\theta(W(X) \ge W(x))
则p(X) 是一个有效的p-值。
文章 讲述了对p值的争议。

原文地址：https://zhuanlan.zhihu.com/p/112574040