• 하나의 작업에서 학습한 모델의 지식을 다른 관련 작업에 전이하여 학습 속도와 성능을 향상시키는 것을 의미합니다. • 대규모 데이터셋에서 미리 학습된 모델의 가중치와 특성을 다른 작업에 재사용함으로써 작은 데이터셋에서도 효과적인 학습을 가능하게 합니다. • 미리 학습된 모델의 파라미터를 고정하고, 새로운 작업에 대한 추가 학습을 수행하는 방식으로 이루어집니다. • 일반적으로 모델의 최하위 계층은 입력 데이터의 일반적인 특징을 학습하고, 상위 계층은 더 추상적이고 작업 특정한 특징을 학습합니다. 따라서 전이 학습은 상위 계층의 파라미터를 수정하면서 새로운 작업에 적합한 특징을 재학습하거나, 새로운 분류기를 상위 계층 위에 추가하여 성능을 개선하는 방식으로 이루어집니다. • 유용하게 활용될 수 있는 경우 ◦ 작은 데이터셋: 기존에 대량의 데이터로 학습된 모델을 가져와서 작은 데이터셋에서 추가 학습을 수행함으로써 성능을 향상시킬 수 있습니다. ◦ 유사한 작업: 기존에 학습된 모델이나 특성을 관련 작업에 전이함으로써 새로운 작업에 대한 학습을 가속화하고 성능을 개선할 수 있습니다. ◦ 계층적 특성 추출: 기존에 학습된 모델에서 상위 계층의 특성 추출기를 가져와서 새로운 모델의 특성 추출에 사용함으로써 특성 공간을 보다 의미 있는 방향으로 재구성할 수 있습니다.
한 영역에서 pretrained model (사전 훈련된 모델) 에 약간의 추가 학습을 더해 유사한 다른 영역에서도 활용하는 기법
- 프렌치 요리사는 이탈리안도 비교적 빠르게 습득할 것
한 영역에서 이미 훈련을 마친 모델을 유사한 다른 영역에 적용
처음부터 훈련하는 것보다, 적은 데이터로 훨씬 빠르게 높은 성능치에 도달 가능
훈련 데이터라 풍부하고 충분히 오래 훈련할 수 있다면 사전 훈련 여부는 크게 중요하지 않을 수 있음.
다만 현실에서는 양질의 훈련 데이터를 다량으로 확보하기 어려울 때가 많다.
복잡한 딥러닝 모델은 한번 훈련에만 수시간~수이릉ㄹ 소모.
일반적인 상황이면 전이학습 쪽이 성능이 좋으며, 시간을 절약하면서 더 좋은 성능을 얻는 것이 목적.
전이학습 종류
- 사전훈련 모델을 구성하는 신경망 전체를 재훈련 (전체 패러미터 갱신, 파인튜닝)
- 패러미터 고정, 훈련하면서 갱신하지 않음
2번째는 일부 계층만 다시 훈련하는 예 (특히 마지막의 전결합 계층만)
이렇게 일부만 다시 훈련시켜도 유용한 이유는 신경망의 각 계층이 고유한 역할을 담당할 수 있기 때문
- 앞단 계층부터 차례로 ‘이미지의 선 → 패턴 → 형상 → 분류’ 순서로 진행되는 ‘고양이 / 개 분류 모델’
- 이 모델을 ‘말 / 낙타 분류 모델’ 용으로 전이
- 이미지에서 선, 패턴, 형상을 추출하는 일은 대상이 어떤 동물이든 무관
- 따라서 형상 추출까지는 그대로 둔 후, 분류 부분만 말 / 낙타로 재훈련시키면 훨씬 빠르게 성능 좋은 모델을 획득