• ReLU의 변형으로, 입력값이 음수인 경우 일정한 기울기를 가진 작은 값으로 출력합니다.
  • 음수 입력값에 대한 그래디언트 소실 문제를 완화할 수 있습니다.