Rectified Linear Unit

  • 입력값이 0보다 크면 그대로 출력하고, 0보다 작으면 0으로 출력합니다.
  • 간단하고 계산이 효율적이지만, 입력값이 음수인 경우 그래디언트가 소실되는 문제가 있습니다.