060. Data Reduction

Sufficiency Principle

$X|T(X)$의 분포가 $\theta$에 의존하지 않는다면, $T(X)$는 $\theta$의 SS. - $T(X)$가 $\theta$의 SS라면, $\theta$에 대한 모든 추론은 $T(X)$를 거쳐서만이 $X$에 의존함. 즉 $T(X)$ 값만 알 수 있다면 모든 $X$에 대해 알지 못해도 무관.

비율 $\frac{f_X(x|\theta )}{f_T(X)\left(T(x)|\theta \right)}$가 $\forall x\in \Omega$에 대해 $\theta$의 함수로서 constant 하다면, $T(X)$는 $\theta$의 SS. 이인즉 $f(x|T(x))$ 는 $\theta$에 의존하지 않는다.

• rs itself와 rs의 order statistics는 SS이다.

Factorization thm.

sample point $x$, parameter points $\theta$

$$T(X)\text{ is SS}⟺\forall x,\theta :\text{function }g\left[T(x)|\theta \right],h(x):f(x|\theta )=g\left[T(x)|\theta \right]\ast h(x)$$

SS를 찾기 위해 factorization thm.을 쓰려면, 우리는 샘플의 joint pdf를 두 부분으로 나눠야 한다. 이는 $\theta$를 포함하지 않는 (의존하지 않는) $h(x)$와 $\theta$ 를 포함하는 $g\left[T(x)|\theta \right]$ 이다. $\theta$를 포함하는 $g$ 쪽의 식이 $T(x)$로 표시될 수 있으면, 즉 $x$에 의존하는 바가 $T(x)$를 통해서만 의존한다면, $T(x)$는 $\theta$의 SS이다.

proof)

$X_1,\cdots ,x_n\stackrel{iid}{\sim }f(x|\theta )=h(x)c(\theta )\exp \left({\sum }_{i=1}^k{w}_i(\theta )t_i(x)\right)$, s.t. exponential family, where $\theta =({\theta }_1,\cdots ,{\theta }_d),d\le k$. then

$$T(X)=\left(\sum _{j=1}^n{t}_1(X_j),\cdots ,\sum _{j=1}^n{t}_k(X_j)\right)$$

is SS for $\theta$.