• 참고: loss function

activation function

인공신경망(ANN)에서 입력값을 받아 출력값을 계산하는 함수. 인공신경망의 비선형성을 추가하고, 복잡한 패턴을 학습할 수 있게 돕는다.

---

sigmoid

로지스틱 회귀분석과 유사, 0~1의 확률값을 가짐

$$f(x)=\frac{1}{(1+\exp (-x))}$$

• 시그모이드 함수.
• 가장 기본적인 활성화 함수로, 입력값을 0과 1 사이의 값으로 압축합니다.
• 출력값이 0 또는 1에 가까워지면 그래디언트가 소실되는 문제가 있습니다.

ReLU

0 이하를 0으로 보정. 최근 딥러닝에 많이 사용

$$f(x)=\max (0,x)$$

• 입력값이 0보다 크면 그대로 출력하고, 0보다 작으면 0으로 출력합니다.
• 간단하고 계산이 효율적이지만, 입력값이 음수인 경우 그래디언트가 소실되는 문제가 있습니다.

Leaky ReLU

dead ReLU 문제 보정, 0 이하일 때 매우 작은 기울기 부여 (ReLU 가 학습하는 동안 일부 뉴런이 0만을 출력하며 학습되지 않는 문제로, 가중치가 업데이트되다가 음수가 되는 순간 ReLU 로 0으로 변환되어 출력되어 발생)

$$f(x)=\max (0.01x,x)$$

• ReLU의 변형으로, 입력값이 음수인 경우 일정한 기울기를 가진 작은 값으로 출력합니다.
• 음수 입력값에 대한 그래디언트 소실 문제를 완화할 수 있습니다.

Hyperbolic Tangent (tanh)

-1~1의 확률값을 가짐, sigmoid 와 달리 0 중심, sigmoid 보다 반환값 변화폭이 크며 기울기 소실 문제가 적음

$$\tanh (x)=\frac{(\exp (x)-\exp (-x))}{(\exp (x)+\exp (-x))}$$

• 하이퍼볼릭 탄젠트 함수 (tanh)
• 시그모이드 함수와 유사하게 입력값을 -1과 1 사이의 값으로 압축합니다.
• 시그모이드 함수와 마찬가지로 그래디언트 소실 문제가 있습니다.

Softmax Function

표준화지수 함수. 출력값이 여러개로 주어지고 목표치가 다범주인 경우, 각 범주에 속할 posterior 를 제공.

$$y_k=\frac{\text{exp}(a_k)}{{\sum }_{i=1}^n\text{exp}(a_i)}$$

• 소프트맥스 함수
• 다중 클래스 분류 문제에서 사용되는 활성화 함수로, 입력값을 각 클래스에 대한 확률값으로 변환합니다.
• 력값은 모든 클래스에 대한 확률의 합이 1이 되도록 정규화됩니다.