110. Neyman–Pearson lemma

Neyman–Pearson lemma

rs $X_1,\cdots ,X_n\stackrel{iid}{\sim }f(x_1,\cdots ,x_n;\theta )$이고, $H_0:\theta ={\theta }_0,H_1:\theta ={\theta }_1$. 이때 이하를 만족하면 rejection region $R$은 MP test의 기각역.

$\exists k\ge 0$:

1. $x\in R$ if $f(x|{\theta }_1)>kf(x|{\theta }_0)$.
2. $x\in R^c$ if $f(x|{\theta }_1)<kf(x|{\theta }_0)$.
3. ${\mathbb{P}}_{{\theta }_0}\left(X\in R\right)=\alpha$ for the prefiexed significance level $\alpha$.

---

Proof:

$$\begin{array}{rl}P(X\in A|\theta )& ={\int }_{A}L(\theta ;x)dx\\ & ={\int }_{A}f(x;\theta )dx\end{array}$$

이므로, $A\subset C^{\ast }$라면

$$\begin{array}{rlrl}{\int }_{A}f(x;\theta )dx& \le {\int }_A& & k\ast f(x;\theta )dx\\ & & & \\ P(X\in A|{\theta }_0)& \le & & k\ast P(X\in A|{\theta }_1)\end{array}$$

마찬가지 방법으로 $A\subset {\left(C^{\ast }\right)}^c$라면 $P(X\in A|{\theta }_0)\ge k\ast P(X\in A|{\theta }_1)$.

$C^{\ast }$의 유의수준이 $\alpha$라 하고, 유의수준이 동일한 임의의 RR $C$를 가정하자. 이때 두 RR은 각각

$$\begin{array}{rl}{C}^{\ast }& =(C^{\ast }\cap C)\cup (C^{\ast }\cap C^c)\\ C& =(C^{\ast }\cap C)\cup ({C^{\ast }}^c\cap C)\end{array}$$

로 표현할 수 있으며, 두 RR에 대한 power function은 각각

$$\begin{array}{rlrlrl}{\pi }^{\ast }(\theta )& =P(X\in C^{\ast }|\theta )& & =P(X\in C^{\ast }\cap C|\theta )& & +P(X\in C^{\ast }\cap C^c|\theta )\\ \pi (\theta )& =P(X\in C|\theta )& & =P(X\in C^{\ast }\cap C|\theta )& & +P(X\in {C^{\ast }}^c\cap C|\theta )\end{array}$$

이때 $H_0$에서 두 power의 차이는

$$\begin{gathered} \begin{array}{rlrl}{\pi }^{\ast }({\theta }_1)-\pi ({\theta }_1)& =& & P(X\in C^{\ast }\cap C^c|{\theta }_1)-P(X\in {C^{\ast }}^c\cap C|{\theta }_1)\\ & \ge \frac{1}{k}& & \left\{P(X\in C^{\ast }\cap C^c|{\theta }_0)-P(X\in {C^{\ast }}^c\cap C|{\theta }_0)\right\}\\ & =\frac{1}{k}& & \left\{P(X\in C^{\ast }\cap C^c|{\theta }_0)-P(X\in {C^{\ast }}^c\cap C|{\theta }_0) \\ +P(X\in C^{\ast }\cap C|{\theta }_0)-P(X\in C^{\ast }\cap C|{\theta }_0)\right\}\\ & =\frac{1}{k}& & \left\{{\pi }^{\ast }({\theta }_0)-\pi ({\theta }_0)\right\}\\ & =0& & \end{array} \end{gathered}$$

이에 의해 MP test의 정의를 만족한다. 이때 $C$의 유의수준이 $<\alpha$인 경우, ${\pi }^{\ast }({\theta }_1)>\pi ({\theta }_1)$이 되므로, $C^{\ast }$의 $H_1$에서의 power인 ${\pi }^{\ast }({\theta }_1)$은 유의수준이 $\le \alpha$인 모든 RR의 power보다 크거나 같음을 알 수 있다.

---

Overview

• Example

$x$	1	2	3	4	5	6
$f(x|{\theta }_0)$	.01	.02	.02	.05	.10	.80
$f(x|{\theta }_1)$	.03	.05	.15	.10	0	.67
$\frac{f(x|{\theta }_0)}{f(x|{\theta }_1)}$	.33	.4	.13	.5	$\infty$	1.19

유의수준이란 기본적으로 $H_0$이 사실인데 $H_1$을 선택할 확률. 선택한 RR에 해당하는 $H_0$와 $H_1$에서의 density가 각각 있다면, $H_0$에서의 density의 합이 된다. 기각을 해버렸는데 $H_0$가 발생해버렸다는 소리니까.

power란 RR에서의 $H_1$이 발생할 확률.

test 자체가 $H_1$에 마음을 두고 시작하는 거임. power는 무조건 $H_1$에만 직결. 실패하면 어쩌지? 무지성으로 $H_1$ 골라버리자. 이랬다가 $H_0$ 발생해버리면? 난 망하는거잖아. 이 망함의 risk를 고정해두자. 이게 $\alpha$.

power function은 $H_0$와 $H_1$ 각각에 대해서 존재한다. 이는 각각에서의 pdf이다.

즉, 표본을 통한 $\frac{f(x|{\theta }_0)}{f(x|{\theta }_1)}$의 값이 크면 $H_0$를 기각할 이유가 없고, 작으면 기각할 근거를 갖는다. 이 값이 얼마나 작아야 기각할 수 있는가는 유의수준에 의해 결정. 이와 같이 rs의 LR을 통해 MP test의 RR을 찾을 수 있다. 이때 RR과 검정법은 실제로 동일한 것이므로 혼돈이 없다는 전제 하에 test라는 단어를 주로 사용한다.

$LR({\theta }_0,{\theta }_1;x)=\frac{L({\theta }_0;x)}{L({\theta }_1;x)}$ 는 표본의 ${\theta }_0$에 대한 지지 (그리고 ${\theta }_1$에 대한 반증)의 정도를 표현한다고 볼 수 있다.

---

Generalized LRT

rs $X_n\stackrel{iid}{\sim }f(x;\theta )$, $H_0:\theta \in {\Omega }_0$, $H_0:\theta \in {\Omega }_1(=\Omega -{\Omega }_0)$.

$$\Lambda (x)=\frac{{\max }_{\theta \in {\Omega }_0}L(\theta ;x)}{{\max }_{\theta \in \Omega }L(\theta ;x)}=\frac{L({\hat{\theta }}_0)}{L({\hat{\theta }}_n)}$$

---

rs $X_1,\cdots ,X_n$의 pdf가 $f(x;\theta ),\theta \in \Omega$라고 하자. 확률구간 $\left[L(X_n),U(X_n)\right]$가

$$P\left[L(X_n)\le \theta \le U(X_n)\right]=1-\alpha$$

를 만족하면 이를 패러미터 $\alpha$의 $100(1-\alpha )\%$ CI라 부른다.

---

rs $X_n$ 의 분포가 pdf $f(x;\theta ),\theta \in \Omega$를 따른다 하자. 이때 샘플과 패러미터 $\theta$의 함수인 random quantity $T(X_n;\theta )$의 분포가 패러미터 $\theta$에 의존하지 않으면 이는 pivotal quantity.

---

$H_0:\theta \in {\Omega }_0,H_1:\theta \in \Omega -{\Omega }_0$ 에 대한 RR $C^{\ast }$가 이하를 만족하면 이는 UMP test. ${\pi }^{\ast }$가 이 test의 power function이라면

$$\max \{{\pi }^{\ast }(\theta )|\theta \in {\Omega }_0\}=\alpha ,$$

모든 다른 power function에 대해 위의 기각역에서의 power 가 최대.

---

rs $X_n$ 의 joint pdf가 $f(X_n;\theta )$일 때, $LR({\theta }_1,{\theta }_2;X_n)=\frac{L({\theta }_1;X_n)}{L({\theta }_1;X_n)}$가 ${\theta }_1<{\theta }_2$에 대해 $T(X_n)$의 non-dec 혹은 non-inc라면 $L(\theta )$는 $T(X_n)$에 대해 monotone LR를 갖는다.

---

• Karlin-Rubin

$H_0:\theta \le {\theta }_0,H_1:\theta \ge {\theta }_0$. $T$가 $\theta$에 대한 SS임을 가정하고, $T$의 pdf의 family는 MLR을 가짐. then $\forall t_0$, reject $H_0⟺T>t_0$ 하는 test는 level $\alpha$의 UMP test이다. 이때, $\alpha =P_{{\theta }_0}(T>t_0)$.

$L(\theta ;X_n)$이 $T(X_n)$에 대해 non-inc인 MLR. 이때

$H_0:\theta \le {\theta }_0,H_1:\theta \ge {\theta }_0$에 대한 level $\alpha$의 UMP test는 $C=\left\{X_n:T(X_n)\ge k\right\}$ 이며, 상수 $k$는 $P[T(X_n)\ge k|H_0]=\alpha$에 의해 결정.

$H_0:\theta \ge {\theta }_0,H_1:\theta \le {\theta }_0$는 $C=\left\{X_n:T(X_n)\le k\right\}$.

---

MLE의 불변성

MLE의 함수는 MLE

---

서로 독립인 rv X Y의 공통된 성공 확률 p의 MLE. f(X)와 f(Y)를 곱해서 쓴다.

---

$X_n\sim U(\theta -\frac{1}{2},\theta +\frac{1}{2})$. 이때 LF로 MLE 구하는 건 굳이 log 안 거쳐도 가능함. 안 거쳐야 증명이 깔끔한 부분이 있음.

---

$$\frac{\partial f(x;\theta )}{\partial \theta }=f(x;\theta )\frac{\partial \log f(x;\theta )}{\partial \theta }$$

에 의해

$$E{\left\{\frac{\partial }{\partial \theta }\log f(X;\theta )\right\}}^2+E\left\{\frac{{\partial }^2}{\partial {\theta }^2}\log f(X;\theta )\right\}=0$$

---

$X\sim U(0,\theta )$일 때, ${\theta }^2$의 UE는? $E(X^2)=\frac{{\theta }^2}{3}$이므로 $T(X)=3X^2$는 $\theta$의 UE.

---

$X_n\sim U(-\theta ,\theta )$일 때, $c(X_{(n)}-X_{(1)}$가 $\theta$의 UE가 되기 위한 c의 값은?

---

$X_n\sim N(\mu ,{\sigma }^2)$. 이때 $cS=c\sqrt{\frac{\sum (X_i-\bar{X}{)}^2}{n-1}}$가 $\sigma$의 UE가 되도록 하는 c의 값은?

$Y=(n-1)\frac{S^2}{sigm{a}^2}$이 카이제곱을 따르는 rv임을 이용하여 $E(\sqrt{Y})$를 구하라.

---

$Var\left(\sum a_i{\hat{\theta }}_i\right)$는 $a_i=\frac{\frac{1}{{\sigma }_i^2}}{\sum \frac{1}{{\sigma }_i^2}}$일 때 최소화.

---

통계량 $S(X)$의 분포가 패러미터 $\theta$에 의존하지 않는다면 이는 ancillary statistic.

---

최소 SS가 존재한다면, 모든 CSS는 MSS이다.