개요
| 구분 | 인스턴스 기반 학습 (Lazy Learning) | 모델 기반 학습 (Eager Learning) |
|---|---|---|
| 학습 단계 | 매우 빠름 (단순 저장) | 느림 (파라미터 최적화 필요) |
| 예측 단계 | 느림 (매번 거리 계산 필요) | 매우 빠름 (수식에 대입) |
| 메모리 사용 | 높음 (전체 데이터 저장) | 낮음 (모델 파라미터만 저장) |
| 데이터 변화 | 새로운 데이터 추가가 쉬움 | 데이터 변화 시 모델을 재학습해야 함 |
| 예시 | k-NN, 사례 기반 추론(CBR) | 선형 회귀, 신경망, 의사결정나무 |
| k-NN, CBR, LWR | Decision Tree, ANN, SVM |
이 두 개념의 근본적인 차이는 데이터를 일반화(Generalization)하여 모델을 구축하는 ‘시점’과 ‘방식’에 있다. 가장 중요한 것은 일반화 시점 이다.
인스턴스 기반 학습(Instance-based Learning)은 새로운 데이터에 대한 예측을 수행할 때, 미리 학습된 모델을 사용하는 대신 메모리에 저장된 학습 데이터(인스턴스)들을 직접 참조하여 결론을 내리는 머신러닝 기법입니다. 이를 ‘게으른 학습(Lazy Learning)‘이라고도 부릅니다.
1. 인스턴스 기반 학습의 핵심 원리
일반적인 모델 기반 학습(Model-based Learning)이 데이터를 요약하여 수식이나 규칙(모델)을 만드는 것과 달리, 인스턴스 기반 학습은 데이터를 있는 그대로 기억합니다.
- 데이터 저장: 별도의 복잡한 학습 과정 없이 훈련 데이터를 메모리에 저장합니다.
- 유사도 측정: 새로운 데이터가 입력되면, 저장된 데이터들 중 가장 유사한 것들을 찾습니다.
- 예측: 찾아낸 유사한 데이터들의 레이블(분류)이나 값(회귀)을 바탕으로 새 데이터의 값을 결정합니다.
2. 대표적인 알고리즘: k-NN (k-Nearest Neighbors)
인스턴스 기반 학습의 가장 대표적인 예시는 k-최근접 이웃(k-NN) 알고리즘입니다.
-
작동 방식: 새로운 데이터 포인트에서 가장 가까운 k개의 이웃 데이터를 찾습니다.
-
거리 계산: 주로 유클리드 거리(Euclidean Distance)를 사용합니다.
-
결정: 분류 문제의 경우 다수결(Majority Voting)을, 회귀 문제의 경우 평균값을 사용합니다.
4. 장단점 분석
장점
유연성: 데이터의 국부적인 특징을 매우 잘 반영하며, 복잡한 비선형 관계도 쉽게 파악할 수 있습니다.
단순성: 모델의 구조가 단순하여 이해하기 쉽고 구현이 용이합니다.
정보 유지: 학습 데이터를 버리지 않으므로 정보를 온전히 보존합니다.
단점
차원의 저주: 변수(특성)가 많아질수록 거리를 계산하는 성능이 급격히 떨어집니다.
노이즈 취약성: 이상치(Outlier)나 잘못된 라벨이 있는 데이터가 섞여 있을 경우 예측에 큰 영향을 미칩니다.
데이터 스케일 민감도: 변수 간의 단위가 다르면 거리가 왜곡되므로 반드시 **정규화(Normalization)**가 필요합니다.
5. 활용 사례
-
추천 시스템: 사용자들의 과거 구매 이력을 바탕으로 유사한 취향의 사용자가 산 물건을 추천할 때 사용됩니다.
-
필기체 인식: 저장된 이미지 패턴 중 가장 유사한 글자 인스턴스를 찾아 식별합니다.
-
이상 탐지: 정상적인 범주에서 거리가 먼 인스턴스를 식별하여 사기 결제 등을 탐지합니다.
비고
굳이 따지면 사실상 죽은 개념. 모델 분류를 위한 메이저 기준으로는 쓰이지 않는다. LLM 과 딥러닝 등의, 모델 학습 자체는 압도적으로 eager learning 에 편중되어 있음.
요즘은 해당 개념보다는 모수적 (대개 eager) / 비모수적 (대개 lazy) 으로 나누는 경향이 강하다.
단, 사전 학습 (eager) 모델의 한계를 극복하기 위해 최근 널리 쓰이는 RAG, 벡터 DB 기반 임베딩 검색은 그 근본 철학이 Lazy learning 과 맞닿아 있다고 볼 수 있음.
사용자의 쿼리가 입력되는 런타임(Runtime) 시점에 비로소 외부 지식 베이스(원본 데이터)에서 k-NN 알고리즘과 유사한 방식으로 연관 데이터를 검색하고 가져와 답변을 구성한다는 점에서, Lazy Learning의 ‘지연 추론’ 아이디어가 현대적인 시스템 아키텍처의 핵심 모듈로 부활하여 결합된 형태로 사용되고 있는 셈.