scheduler

Learning Rate Scheduler

학습이 진행됨에 따라 옵티마이저 가 사용하는 학습률($\eta$) 자체를 동적으로 변화 시키는 역할

• 처음에는 크게 이동하다가, 목표지점에 가까워질수록 보폭(학습률)을 줄여서 정밀하게 수렴하도록 도움
• 작동 원리: 직접 가중치를 건드리지 않고, 옵티마이저 내부에 설정된 학습률 값을 특정 조건(에폭, 검증 손실 등)에 따라 수정

StepLR

특정 에폭마다 학습률을 고정된 비율로 감소

CosineAnnealingLR

코사인 함수 그래프를 따라 학습률을 부드럽게 감소.

ReduceLROnPlateau

성능 개선이 멈췄을 때 학습률을 감소(가장 똑똑한 방식 중 하나).