편향-분산 tradeoff

MSE 를 통해 통계량의 성능을 비교할 수 있다.

$$MSE=\underset{\propto \frac{1}{\text{accuracy}}}{\underbrace{{\text{Bias}}^2}}+\underset{\propto \frac{1}{\text{precision}}}{\underbrace{{\text{Variance}}^2}}$$

• 정밀도(Precision)와 정확도(Accuracy)라는 개념과 밀접한 관련이 있다.
• 통계학적으로 MSE는 편향(Bias)의 제곱과 분산(Variance) 의 합으로 분해된다.

용어	통계적 의미	개념적 설명
MSE	전체적인 오차의 크기	예측값이 실제값에서 얼마나 떨어져 있는가?
Bias (편향)	예측값의 평균과 실제값의 차이	얼마나 “정확”하게 중앙을 조준하고 있는가?
Variance (분산)	예측값들이 흩어진 정도	얼마나 “일관”되게(정밀하게) 결과가 나오는가?

• 편향 - 분산 tradeoff
  • 편향 (bias) 이 낮을수록 = 예측값들이 실제 타겟값에 가깝다 = 정확도가 높다
  • 분산(Variance) 이 낮을수록 = 예측값들이 서로 뭉쳐 있다 = 정밀도가 높다

• 과녁 모델
  • Low Bias, Low Variance (Best): MSE가 매우 작음
  • High Bias, Low Variance: 정밀도만 높음 (자기들끼리 모임, 타겟에서 벗어남)
  • Low Bias, High Variance: 정확도만 높음 (산만하게 퍼짐. 평균적으로 중심에 가까움)
  • High Bias, High Variance (Worst): 정확도, 정밀도 모두 낮음 (MSE가 매우 큼)