_main

시각화

분포 간 관계

데이터마이닝

모수 / 비모수

ㅁㄴㅇㄹ

---

분포검정의 의미

통계 분포라는 건 결국 현실의 임의의 사상 (event) $x$ 가 어떤 규칙을 따를 것이라는 가설을 뒷받침하는 것.

$X\sim N(0,1)$ 노멀분포.

세상에는 노멀분포를 따르되 평균이 $0$ 이 아닌 $\mu$ 거나, variance 가 $1$ 이 아닌 ${\sigma }^2$ 일 수 있음.

하지만 얘들은 결국 근본으로 돌아가면 노멀분포를 따른다는 점에서 $N(0,1)$ 과 같은 것이고.

• = 표준화를 거치면 노멀분포로 환원 가능.

가설이란 해당 사상 (event) 는 노멀 분포를 따를 것 같은데? 라는 게 가설.

→ 노멀 분포를 따른다면 시행횟수를 늘렸을 경우 결과값들의 집합 (set) 이 노멀 분포를 따르는 모양이 나오는게 정상이겠지? → 근데 안따르네? 이거 우리 모두 착각하던거 아님? 이거 사실 노멀분포 안따르는거 아닌가? 노멀분포 따르면 양심적으로 결과값들을 정리했을 때 상식적으로 이 영역 안에는 있어야지. 근데 없잖아?

체크하고자 하는 것은 바로 이 부분.

즉 일반적인 분포 검정 (test) 에서 우리는 기본적으로 해당 사상이 노멀분포를 따를 것이라는 가정을 깔고 들어간다. 그게 상식이니까.

근데 노멀분포를 안 따르고 있을 경우, 그 ‘상식’ 에 기반하면 당연해야 하는 일들이 당연하지 않다는 결과값이 나올 것이고, 그제서야 우리는 노멀분포가 아닌 다른 가능성에 무게를 두는 것.

---

자유도란?

제약조건(반드시 맞아야 하는 조건)들을 고려했을 때, 독립적으로 움직일 수 있는 정보 조각의 개수.

표준정규 $Z$ 를 따르는 확률변수 를 $k$ 개 합한다. 이때 이 합이라는 확률변수는 ${\chi }^2(k)$ 를 따르며, 이 $k$ 가 자유도가 된다.

즉, $k$, 즉 dof 는 “독립인 표준정규 성분이 몇 개 들어갔는가” 를 의미한다.

이제 contingency table 기준으로 생각해보자.

3×3 독립성 검정을 예로 들자. 여기서 정해져야 하는 값의 갯수는 $rc$ 이다. 9개 셀에 대해 값을 채워넣어야 하니까. 근데.

rowsum $r$개 중 마지막 1개는 앞의 $r-1$개가 정해지면 자동으로 결정된다. 값의 총합 $N$ 은 고정되어 있으니까.

colsum $c$개도 마찬가지로 $c-1$개만 독립이다.

자유도가 n-1 인 이유

‘추정’을 진행할 때, 자유도는 왜 차감되는가?

수식으로는 아주 간단하다.

$$\begin{array}{rl}\sum _{i=1}^n(X_i-\bar{X}{)}^2& =\sum _{i=1}^n(X_i-\mu {)}^2-n(\bar{X}-\mu {)}^2\\ \mathbb{E}\left[\sum _{i=1}^n(X_i-\bar{X}{)}^2\right]& =\underset{=n{\sigma }^2}{\underbrace{\mathbb{E}\left[\sum _{i=1}^n(X_i-\mu {)}^2\right]}}-n\underset{=\mathrm{Var}(\bar{X})={\sigma }^2/n}{\underbrace{\mathbb{E}\left[(\bar{X}-\mu {)}^2\right]}}\\ & =n{\sigma }^2-{\sigma }^2\\ & =(n-1){\sigma }^2.\end{array}$$

즉 $n-1$ 로 나누어져야 분산의 불편추정량 (unbiased estimator, UE) 로서 성립한다.

참고

반면 MLE처럼 분모를 $n$ 으로 두면 하향편향이 생긴다. 평균 $\bar{X}$ 를 데이터에서 추정하면서 자유도 1을 ‘소모’했기 때문.

$${\hat{\sigma }}_{\mathrm{MLE}}^2=\frac{1}{n}\sum _{i=1}^n(X_i-\bar{X}{)}^2\Rightarrow \mathbb{E}\left[{\hat{\sigma }}_{\mathrm{MLE}}^2\right]=\frac{n-1}{n}{\sigma }^2.$$

참고로 회귀처럼 모수 $k$ 개를 추정하면 같은 논리로 자유도가 $n-k$ 로 일반화된다.

$$\mathbb{E}\left[\sum {\text{잔차}}^2\right]=(n-k){\sigma }^2,{\hat{\sigma }}^2=\frac{1}{n-k}\sum {\text{잔차}}^2.$$

직관을 붙이면, 직관은 잘 작동하지 않는다. 이건 이미 발생한 현실계 기준 이 아니라, 표본을 뽑는다는 행위를 추상화한, 아직 행동이 발생하지 않은 추상계 기준 이기 때문이다.

즉, 자유도는

• 이미 실현된 데이터에 대한 조작 가능성이 아니라,
• 제약이 걸린 확률모형에서 독립적으로 변할 수 있는 성분의 개수 를 말한다.

원래 표본 $X_1\cdots X_n$ 은 서로 독립이어서 $n$ 개의 자유정보를 갖는다. 하지만 이렇게 보유하고 있는 정보덩어리에서 분산을 구하기 위해선 평균이 무조건 있어야 하므로, 어쩔 수 없이 평균 $\bar{X}$ 를 데이터에서 추정했다. 이러면 ‘잔차들의 합은 0’ 이라는 제약이 생긴다.

즉,

$$r_i:=X_i-\bar{X},\sum ^n{r}_i=0$$

당연하다. 평균 $\bar{X}$ 를 $n$ 개 합하면 $X_i$ 의 합과 같으니까. 즉 이건 데이터에서 평균을 ‘추정’ 한 순간 피할 수 없는 제약이다.

따라서 이 제약은 독립적으로 변할 수 있는 임의성(정보) 를 정확히 1개 줄인다. 따라서 $n-1$ 개만 독립적으로 변할 수 있고, 나머지 하나는 자동 결정된다.

근본적으로 ‘마음대로 고른다’는 건, 모든 가능한 표본을 상상할 때, 제약을 제외하면 독립적으로 바뀔 수 있는 성분의 수가 $n-1$ 라는 의미이다.

• 한 번 관찰된 데이터에서 뭔가를 바꿀 수 있다는 뜻이 아니다.

선형대수 관점: 잔차 벡터가 사는 공간의 차원

잔차벡터 $\mathbf{r}=(r_1,\dots ,r_n{)}^{\top }$ 는 항상 아래를 만족한다. 즉, $\mathbf{r}$는 $1$에 수직인 부분공간 $\{\mathbf{r}:1^{\top }\mathbf{r}=0\}$에 산다.

$$1^{\top }\mathbf{r}=0(1=(1,\dots ,1{)}^{\top })$$

전체 공간 ${\mathbb{R}}^n$ 의 차원은 $n$, 그중 $1$ 방향(평행이동) 1차원을 “평균 맞추기”로 고정했으니, 남는 부분공간의 차원은 n-1. 이것이 자유도가 된다.

• 회귀일반화: 설계행렬 $X$가 열랭크 $k$이면, 잔차는 $X$의 열공간에 수직인 부분공간(영차원 $n-k$)에 살고, 그래서 $\mathrm{df}=n-k$.

---

표준오차 vs. 표준편차

$$SE=\frac{\text{SD}}{\sqrt{n}}=\frac{s}{\sqrt{n}}$$

$$\text{SD}=s=\sqrt{\frac{\sum (x_i-\bar{x}{)}^2}{n-1}}$$

구분	표준오차 (SE)	표준편차 (SD)
의미	평균 추정의 불확실성 표본평균의 불확실성	데이터의 흩어짐 (변동성) 데이터 값들이 평균으로부터 얼마나 흩어져 있는지
n(표본 크기) 영향	n이 커질수록 감소	변화 없음
활용	추론 통계 (가설검정 - pval, 신뢰구간)	데이터 자체 특성 설명
	같은 시험 점수 데이터를 10명만 뽑아 평균 내면 오차가 클 수 있음. 하지만 1,000명을 뽑아 평균을 내면 실제 전체 평균과 더 가까울 확률이 높음. 이때 줄어드는 불확실성을 수치로 표현한 게 표준오차.	시험 점수가 70점 평균인데, 표준편차가 2점이면 학생들이 대부분 68~72점 근처에 있음. 반대로 표준편차가 15점이면 성적이 들쭉날쭉함.
	그 반에서 몇 명만 뽑아 평균을 냈을 때, “그 평균이 진짜 전체 평균과 얼마나 차이날까?”	반 친구들 시험 점수가 얼마나 들쭉날쭉한지.