인공신경망
추가 기록 (2026-06-19T11:27:34Z)
인공신경망(ANN, Artificial Neural Network)은 인간을 포함한 동물의 생물학적 뇌 신경망 구조에서 영감을 받아 고안된 컴퓨팅 시스템이자, 딥러닝(Deep Learning)의 근간을 이루는 기계 학습 통계 모델이다. 통상적으로 다층 퍼셉트론(MLP, Multi-Layer Perceptron) 형태의 전방향 신경망(Feedforward Neural Network)을 지칭하는 용어로 사용된다.
입력된 데이터에서 복잡한 비선형적(Non-linear) 패턴을 스스로 학습하고 추출하여 예측이나 분류 작업을 수행하도록 설계되었다.
참고: 자연어 처리의 임베딩(Word2Vec 등) 및 벡터 데이터베이스 문맥에서는 고차원 벡터의 고속 검색을 위한 알고리즘인 ‘근사 최근접 이웃(Approximate Nearest Neighbor)‘의 약어로도 혼용되나, 기계 학습 아키텍처 관점에서는 인공신경망을 의미한다.
핵심 구성 요소 및 원리 (Core Components and Mechanisms)
- 계층 구조 (Layer Architecture): 외부 데이터를 받아들이는 입력층(Input Layer), 데이터의 특징을 추출하고 연산하는 한 개 이상의 은닉층(Hidden Layer), 최종 결과를 도출하는 출력층(Output Layer)으로 구성된다.
- 가중치와 편향 (Weights and Biases): 각 계층을 구성하는 인공 뉴런(노드)들은 시냅스처럼 서로 연결되어 있다. 이 연결선에는 데이터의 중요도를 결정하는 가중치가 부여되며, 노드 자체에는 활성화 임계치를 조절하는 편향이 존재한다.
- 활성화 함수 (Activation Function): 이전 층으로부터 전달받은 값의 선형 결합(가중치 합)을 비선형적인 형태로 변환하여 다음 층으로 전달한다. 시그모이드(Sigmoid), 렐루(ReLU), 탄젠트(Tanh) 등이 사용되며, 이를 통해 신경망이 복잡한 수학적 매핑을 학습할 수 있게 된다.
- 역전파 알고리즘 (Backpropagation): 모델이 예측한 출력값과 실제 정답 간의 오차(Loss)를 계산한 뒤, 미분의 연쇄 법칙(Chain Rule)을 이용하여 출력층에서 입력층 방향으로 역방향으로 이동하며 각 가중치의 오차 기여도를 산출한다. 이를 바탕으로 경사하강법(Gradient Descent)을 적용해 가중치를 최적화한다.
신경망 아키텍처 비교 (Comparison of Neural Network Architectures)
단순한 형태의 기본 ANN(MLP)은 데이터의 특성에 따라 성능의 한계를 보이므로, 이를 극복하기 위해 파생된 특화 신경망 구조들과의 차이점을 표로 분류한다.
| 비교 항목 | 기본 ANN (MLP / Feedforward) | CNN (합성곱 신경망) | RNN (순환 신경망) |
|---|---|---|---|
| 주요 처리 데이터 | 정형 데이터(Tabular data) | 이미지, 영상 등 2D/3D 격자형 데이터 | 텍스트, 음성 등 가변 길이의 시계열/순차 데이터 |
| 핵심 연산 단위 | 완전 연결(Fully Connected) 노드 간의 행렬 곱연산 | 필터(Kernel)를 사용한 합성곱(Convolution) 연산 | 은닉층 상태(Hidden State)의 순차적 전달 연산 |
| 데이터 구조 정보 | 입력 데이터의 공간적, 시간적 순서 정보가 무시됨 | 픽셀 간의 로컬(Local) 공간 정보 및 패턴을 보존함 | 이전 시점의 정보가 현재 시점에 영향을 주어 시간 정보 보존 |
| 파라미터 공유 여부 | 가중치를 공유하지 않음 (파라미터 수가 기하급수적으로 증가) | 동일한 필터 가중치를 이동하며 공유 (파라미터 효율성 높음) | 각 시점(Time-step) 단위로 동일한 가중치를 공유 |
| 주요 한계점 | 이미지나 텍스트 데이터의 특징을 추출하는 데 비효율적 | 텍스트와 같은 순차적인 맥락을 파악하는 구문에 부적합 | 시퀀스가 길어질 경우 장기 의존성(Long-term dependency) 소실 발생 |
출처 (Sources):
- Goodfellow, I., Bengio, Y., & Courville, A. (2016). Deep Learning, MIT Press: Chapter 6 “Deep Feedforward Networks”. (https://www.deeplearningbook.org/)
- Rumelhart, D. E., Hinton, G. E., & Williams, R. J. (1986). “Learning representations by back-propagating errors.” Nature, 323(6088), 533-536. (역전파 알고리즘을 대중화시킨 핵심 논문)
- IBM Technical Documentation: “What are Neural Networks?” (https://www.ibm.com/topics/neural-networks)
- Stanford CS231n: Convolutional Neural Networks for Visual Recognition: “Neural Networks Part 1: Setting up the Architecture” (http://cs231n.github.io/neural-networks-1/)