• 참고: activation function

loss function

• 머신러닝 모델의 성능을 평가하기 위해 사용되는 함수.

• 모델의 예측값과 실제값 사이의 오차를 측정하고, 이를 최소화하는 방향으로 모델을 학습시킵니다.

  • 평균 제곱 오차(Mean Squared Error, MSE)
  • 평균 절대 오차(Mean Absolute Error, MAE)
  • 교차 엔트로피 손실(Cross-Entropy Loss)
  • 로그 손실(Log Loss) 또는 이진 교차 엔트로피 손실(Binary Cross-Entropy Loss)

평균 제곱 오차 (Mean Squared Error, MSE)

• 편향-분산 tradeoff 참조.

$$MSE=\frac{1}{N}\ast \sum (Y_{\text{p}red}-Y_{\text{a}ctual}{)}^2$$

• 평균 제곱 오차
• 회귀 문제에서 주로 사용되는 손실 함수입니다.
• 예측값과 실제값 사이의 제곱 오차를 평균한 값입니다.

평균 절대 오차(Mean Absolute Error, MAE)

$$MAE=\frac{1}{N}\ast \sum |Y_{\text{p}red}-Y_{\text{a}ctual}|$$

• 평균 절대 오차
• 회귀 문제에서 사용되는 다른 손실 함수입니다.
• 예측값과 실제값 사이의 절대 오차를 평균한 값입니다.

지니계수 (gini index)

교차 엔트로피 손실(Cross-Entropy Loss)

$$H(p,q)=-\sum _{x}p(x)\log q(x)$$

• 분류 문제에서 주로 사용되는 손실 함수입니다.
  • 분류 문제에서는 MSE 보다 Cross entory 가 수렴 안정성 / 속도에서 유리하므로 주로 사용됨.
• 예측값의 확률 분포와 실제값의 원-핫 인코딩을 비교하여 오차를 계산합니다.
  • 예측값이 실제값과 일치할 때 최소값
  • 오차가 클수록 손실 값이 증가

이진 교차 엔트로피 손실(Binary Cross-Entropy Loss, Log Loss - 로그 손실)

$$\text{BCE Loss}=-\left[y_n\log {\hat{y}}_n+(1-y_n)\log (1-{\hat{y}}_n)\right]$$

• 이진 분류 문제에서 주로 사용되는 손실 함수입니다.
  • 이진 분류는 $p$ 의 베르누이 분포를 가지므로 하나의 샘플에 대한 cross entropy 를 위와 같이 정의할 수 있다. $n$ 은 sample index.
• 두 클래스에 대한 확률값을 비교하여 오차를 계산합니다.
  • 예측값이 실제값과 일치할 때 최소값
  • 오차가 클수록 손실 값이 증가