PCA

1. centering

데이터가 이미 중심화되어 있으므로, 중심화 행렬 $Z$ 는 $X$ 와 동일하다.

$$X=\left[\begin{array}{ccc}20& 20& 1\\ -20& -20& 1\\ 0& 0& 0\\ 10& -10& -1\\ -10& 10& -1\end{array}\right]$$

표본공분산 행렬 $S$:

$$S=\frac{1}{n-1}{X}^{T}X=\left[\begin{array}{ccc}250& 150& 0\\ 150& 250& 0\\ 0& 0& 1\end{array}\right]$$

2. 고유값(Eigenvalues) 산출

특성방정식 $\det (S-\lambda I)=0$ 을 푼다.

$$\det \left[\begin{array}{ccc}250-\lambda & 150& 0\\ 150& 250-\lambda & 0\\ 0& 0& 1-\lambda \end{array}\right]=(1-\lambda )\left\{(250-\lambda {)}^2-150^2\right\}=0$$

이때 해는 ${\lambda }_1=400,{\lambda }_2=100,{\lambda }_3=1$

3. 고유벡터(Eigenvectors) 및 주성분 (PC)

각 고윳값에 대응하는 단위 고유벡터 $v_i$​를 구한다.

$$v_1=\left[\begin{array}{c}\frac{1}{\sqrt{2}}\\ \frac{1}{\sqrt{2}}\\ 0\end{array}\right],v_2=\left[\begin{array}{c}\frac{1}{\sqrt{2}}\\ -\frac{1}{\sqrt{2}}\\ 0\end{array}\right],v_3=\left[\begin{array}{c}0\\ 0\\ 1\end{array}\right]$$

4. 결과 해석

전체 분산은 400+100+1=501이다.

• 제1주성분이 전체 변동의 약 79.8% (400/501)
• 제2주성분이 약 19.9% (100/501)

를 설명한다.

데이터는 주로 x1​과 x2​의 합과 차의 방향으로 분포되어 있음을 알 수 있다.

5. 기하학적 직교성 (Orthogonality)

표본공분산 행렬은 대칭행렬(Symmetric Matrix)이므로, 서로 다른 고윳값에 대응하는 고유벡터는 반드시 직교해야 한다.

$$v_1\cdot v_2=[a,a,0]\cdot [a,-a,0]=0$$

즉, 제1주성분이 $x_1$​과 $x_2$​가 같은 방향으로 변하는 축($45°$ 방향)을 잡았다면, 제2주성분은 그와 수직인 방향($-45°$ 방향)을 잡아야 데이터의 남은 변동을 설명할 수 있다.