010. Inference

$T(X)$가 $\theta$의 추정량.

• bias $=E\left[T(X)\right]-\theta$
  • if bias$=0$, $T(X)$는 $\theta$의 UE.

이때, $\theta$ can be $g(\theta )$.

• 즉슨, $\theta$는 패러미터 그 자체만이 아니라 패러미터의 함수를 패러미터 삼아 이를 추정하려고 들 수도 있다. 이하의 전개에서는 $\theta =g(\theta )$ 로 이해하자.

$\theta$의 추정량 $T(X)$의 MSE는 $MSE=Var\left[T(X)\right]+(bias{)}^2$.

$T_1(X)$, $T_2(X)$는 $\theta$의 UE. $T_1(X)$의 $T_2(X)$에 대한 Relative Efficiency $RE=\frac{Var\left[T_2(X)\right]}{Var\left[T_1(X)\right]}$

---

rv $X_1,\cdots ,X_n\sim f(x_1,\cdots ,x_n|\theta )$. 이하의 조건 하에서 추정량 $T^{\ast }(X)$는 $\theta$의 MVUE.

1. $E\left[T^{\ast }(X)\right]=\theta$. 즉 $T^{\ast }(X)$는 $\theta$의 UE.
2. $\forall T(X):Var\left[T^{\ast }(X)\right]\le \left[T(X)\right]$.

---

Fisher’s Information

$$I(\theta )=E\left\{{\left[\frac{\partial }{\partial \theta }logf(X_1;\theta )\right]}^2\right\}$$

• regularity condition:
  1. The partial derivative of $f(X;\theta )$ with respect to $\theta$ exists almost everywhere. (It can fail to exist on a null set, as long as this set does not depend on $\theta$.)
  2. The integral of $f(X;\theta )$ can be differentiated under the integral sign with respect to $\theta$.
  3. The support of $f(X;\theta )$ does not depend on $\theta$.

e.g.,

1. 패러미터 다르면 pdf 다름. 즉, $\theta \ne {\theta }^{\prime }:f(x;\theta )\ne f(x;{\theta }^{\prime })$
2. set $A=\{x:f(x;\theta )>0\}$은 패러미터 $\theta$에 의존하지 않고, $\forall x\in A,\theta \in \Omega :\log f(x;\theta )$는 $\theta$에 대해 두 번 미분 가능하고 도함수가 연속이다.
3. 통계량 $T(X)$가 $\forall \theta \in \Omega :E\left[T(X)\right]<\infty$ 라면, $\frac{\partial }{\partial \theta }E\left[T(X)\right]$에 있어 미분과 적분의 순서를 바꿀 수 있다.

• Information inequality: under regularity condition, $\forall g^{-1}(\theta )\in \Omega ,Var\left[T^{\ast }(X)\right]<\infty ,E\left[T^{\ast }(X)\right]=\theta ,0<I(\theta )<\infty :$ $\theta$ is differentiable, and $Var\left[T^{\ast }(X)\right]\ge \frac{1}{n}\frac{{\left[g^{\prime }(\theta )\right]}^2}{I(\theta )}$.

---

rv $X_1,\cdots ,X_n\sim f(x_1,\cdots ,x_n|\theta )$. $l$개 stats(통계량)의 벡터 $S(X)=\left[S_1(X),\cdots ,S_l(X)\right]$.

이때 rv $X_1,\cdots ,X_n|S(X)$의 분포가 패러미터 $\theta =({\theta }_1,\cdots ,{\theta }_k)$에 의존하지 않으면 stats $S(X)$는 joint SS.

rv $X_1,\cdots ,X_n\sim f(x_1,\cdots ,x_n|\theta )$. 1개 stats(통계량) $S(X)$.

이때 rv $X_1,\cdots ,X_n|S(X)$ 의 분포가 패러미터 $\theta =({\theta }_1,\cdots ,{\theta }_k)$에 의존하지 않으면 stats $S(X)$는 SS.

---

Decomposition thm.

rv $X_1,\cdots ,X_n\sim f(x_1,\cdots ,x_n|\theta )$. $k$개 stats(통계량) $S(X)=\left[S_1(X),\cdots ,S_k(X)\right]$.

stats $S(X)$는 joint SS $⟺$ $f(x_1,\cdots ,x_n;\theta )=g\left[s(x);\theta \right]\ast h(x_1,\cdots ,x_n)$

---

Rao-Blackwell thm.

패러미터의 함수 $\theta$, $S$는 SS, $T(X)$는 UE. let $\delta (S)=E\left[T(X)|S\right]$. 이때 $\delta (S)$는 $\theta$의 UE. 따라서

$$\begin{array}{rl}Var\left[\delta (S)\right]& =E\left\{{\left[\delta (S)-\theta \right]}^2\right\}\\ & \le E\left\{{\left[T(X)-\theta \right]}^2\right\}=Var\left[T(X)\right]\end{array}$$

Rao-Blackwell thm. raoblack

rs $X_1,\cdots ,X_n\stackrel{iid}{\sim }f(x;\theta ),\theta \in \Theta$.

1. $Y=u(X_1,\cdots ,X_n)$는 $\theta$의 CSS.
2. $Z=v(X_1,\cdots ,X_n)$의 분포는 $\theta$에 의존하지 않는다.

이상의 조건이 만족되면 $Y\perp Z$.

---

---

Completeness

rs $X_1,\cdots ,X_n$의 stats $T(X_1,\cdots ,X_n)$에 대해, let

$$\forall \theta \in \Omega :E\left[g(T)\right]=0$$

이때 이를 만족하는 $\theta$에 무관한 함수 $g$가 $g(\cdot )\equiv 0$ 뿐이라면, $T$는 CS. $T$가 $\theta$에 대한 SS라면, 이는 CSS.

stats $Y$가 분포모임 $\{g(y;\theta );\theta \in \Theta \}$의 한 원소를 pdf로 가진다고 하자.

$$\forall \theta \in \Theta :E_{\theta }\left[\phi (Y)\right]\stackrel{\theta }{=}0\to \phi (y)\stackrel{y}{=}0$$

위의 명제가 성립할 때 위 분포족은 completeness를 지닌다.

• 여기서 $\phi$는 $\theta$에 무관한 함수이다.
• 피명제는 보다 엄밀히는 $\forall \theta :P_{\theta }\{\phi (Y)=0\}=1$.
• $\stackrel{\theta }{=}$는 모든 $\theta \in \Omega$에 대해 등호가 성립함을 나타낸다.

Remarks:

1. completeness는 본질적으로 확률분포의 패러미터 $\theta$가 통계량 $Y$를 통해 추정될 수 있음을 보장하는 조건으로 이해될 수 있다.
   • 즉, completeness는 서로 다른 패러미터값을 지니는 두 분포는 서로 구분(distinct)됨을 보장해주는 조건이다.
2. 통계량 $Y$의 분포족이 completeness를 만족하면, $Y$를 완비통계량 CS라고 부른다.
3. 완비성은 CS의 함수로 이루어지는 UE는 unique하다는 사실을 보이는 도구로 이용된다. 레만-쉐페 thm 참조.

---

레만-쉐페 thm.

패러미터 $\theta$에 대해 $T$가 CSS, $S(X)$는 $\theta$의 UE. 이때 $\delta (T)=E\left[S(X)|T\right]$ 는 $\theta$ 의 UMVUE.

rs $X_1,\cdots ,X_n\stackrel{iid}{\sim }f(x;\theta )$. $\theta$에 대한 CSS $Y=u(X_1,\cdots ,X_n)$. 이때 임의의 UE $\hat{\theta }$에 대해

$$\phi (Y)=E(\hat{\theta }|Y)$$

는 $\theta$에 대한 UMVUE. 이는 unique.

---

exponentail family:

pdf가 적절한 함수 $a,b,c_i,t_i(i=1,\cdots ,k)$에 대해 $f(x;\theta )=a(\theta )b(x)\exp \left[{\sum }_{i=1}^k{c}_i(\theta )t_i(x)\right],-\infty$

지수족에 속하는 pdf로부터 rs $X_1,\cdots ,X_n$ 를 얻었다면, 통계량 $S_1={\sum }_{i=1}^n{t}_1(X_i),\cdots ,S_k={\sum }_{i=1}^n{t}_k(X_i)$ 는 패러미터 ${\theta }_1,\cdots ,{\theta }_k$ 에 대한 joint (C) SS이다.

---

consistency

$g(\theta )$에 대한 est $\tau (X)$가 $\forall ϵ>0:{\lim }_{n\to \infty }P\left(|\tau (X)-g(\theta )|\le ϵ\right)=1$ 을 만족하면 est $\tau (X)$는 consistency를 가진다.

이는 표본의 크기가 커짐에 따라 est $\tau (X)$가 $g(\theta )$ 에 확률적으로 수렴한다는 것. 표본의 크기가 매우 클 때, est $\tau (X)$ 로부터 계산된 추정값 estimates는 높은 확률로 참모수값에 매우 가까이 있다는 뜻.

---

est $\tau (X)$를 $g(\theta )$ 의 것일 때, $\forall \theta \in \Theta :{\lim }_{n\to \infty }PE{\left\{\tau (X)-g(\theta )\right\}}^2=0$ 이 성립하면 est $\tau (X)$ 는 consistent.

---

est $\tau (X)$ 가 $\theta$ 의 consistent이고, $g(x)$ 가 $\theta$ 에서 연속인 함수라면, $g\tau (X)$.