ANN

1. ANN

• perceptron
• 비선형성 한계성 - XOR 문제를 풀지 못함
  • backprogation (역전파 알고리즘) 으로 비선형성을 극복산 다계층 퍼셉트론

• 입력층 - 은닉층 - 출력층 구성
  • input layer - hidden - output
    • hidden layer 숫자에 따라 단층 / 다층 NN 구별
    • 은닉층이 여러개일 때
      • 각 층마다 여러개의 뉴런으로 구성
      • 각 층의 뉴런들은 전후층의 뉴런들과 연결
      • 동일 층의 뉴런들은 서로 연결되어 있지 않음

• 뉴런 (node) 는 기본적인 정보처리 단위

  • 뉴런 여러개가 weighted link 를 통해 연결된 형태.
  • 각 weighted link 에는 수치적인 가중치가 있고, 이는 인간뇌의 시냅스에 해당
  • 가중치는 한 층의 뉴런들이 다른 층의 뉴런들과 연결될 때 그 연결강도를 결정
    • 최초 가중치는 랜덤으로 설정, 학습 iter 하면서 최적화
    • $\mathbf{w}\ast \mathbf{x}$ ($\mathbf{x}$ 는 $n$개의 입력신호) 가 인풋되고, 이후 activation function 이 새로운 활성화 수준 계산해서 출력 링크로 출력 신호를 보냄.
      • 입력신호는 다른 뉴런의 출력이거나 미가공 데이터
      • 출력신호는 다른 뉴런의 입력이 되거나 최종적인 해 (solution)

• 뉴런은 전이함수, 즉 activation function 을 사용하며, 활성함수를 이용해 출력을 결정하며 입력신호의 가중치 합을 계산하여 임계값과 비교한다.

$$X=\sum _{i=1}^n{x}_i{w}_i,Y=\{\begin{array}{ll}-1& \text{if }X\ge \theta \\ 1& \text{if }X<\theta \end{array}$$

---

2. 뉴런의 활성함수 (activation function)

• 활성함수는 비선형적이어야만 한다

---

3. 단일 뉴런의 학습 (단층 퍼셉트론)

퍼셉트론은 선형 결합기와 하드 리미터로 구성되며, 초평면 (hyperplane) 은 n차원 공간의 2개의 영역으로 나눈다. 초평면을 이하의 선형 분리함수로 정의한다.

$$\sum x_i{w}_i-\theta =0$$

---

신경망 모형 구축시 고려사항

학습모드

은닉층 / 은닉노드의 수

overfitting 문제

경사감소소멸 문제

Gradient Descent Vanishing

추가 기록 (2026-06-19T11:27:34Z)

인공신경망(ANN, Artificial Neural Network)은 인간을 포함한 동물의 생물학적 뇌 신경망 구조에서 영감을 받아 고안된 컴퓨팅 시스템이자, 딥러닝(Deep Learning)의 근간을 이루는 기계 학습 통계 모델이다. 통상적으로 다층 퍼셉트론(MLP, Multi-Layer Perceptron) 형태의 전방향 신경망(Feedforward Neural Network)을 지칭하는 용어로 사용된다.

입력된 데이터에서 복잡한 비선형적(Non-linear) 패턴을 스스로 학습하고 추출하여 예측이나 분류 작업을 수행하도록 설계되었다.

참고: 자연어 처리의 임베딩(Word2Vec 등) 및 벡터 데이터베이스 문맥에서는 고차원 벡터의 고속 검색을 위한 알고리즘인 ‘근사 최근접 이웃(Approximate Nearest Neighbor)‘의 약어로도 혼용되나, 기계 학습 아키텍처 관점에서는 인공신경망을 의미한다.

핵심 구성 요소 및 원리 (Core Components and Mechanisms)

1. 계층 구조 (Layer Architecture): 외부 데이터를 받아들이는 입력층(Input Layer), 데이터의 특징을 추출하고 연산하는 한 개 이상의 은닉층(Hidden Layer), 최종 결과를 도출하는 출력층(Output Layer)으로 구성된다.
2. 가중치와 편향 (Weights and Biases): 각 계층을 구성하는 인공 뉴런(노드)들은 시냅스처럼 서로 연결되어 있다. 이 연결선에는 데이터의 중요도를 결정하는 가중치가 부여되며, 노드 자체에는 활성화 임계치를 조절하는 편향이 존재한다.
3. 활성화 함수 (Activation Function): 이전 층으로부터 전달받은 값의 선형 결합(가중치 합)을 비선형적인 형태로 변환하여 다음 층으로 전달한다. 시그모이드(Sigmoid), 렐루(ReLU), 탄젠트(Tanh) 등이 사용되며, 이를 통해 신경망이 복잡한 수학적 매핑을 학습할 수 있게 된다.
4. 역전파 알고리즘 (Backpropagation): 모델이 예측한 출력값과 실제 정답 간의 오차(Loss)를 계산한 뒤, 미분의 연쇄 법칙(Chain Rule)을 이용하여 출력층에서 입력층 방향으로 역방향으로 이동하며 각 가중치의 오차 기여도를 산출한다. 이를 바탕으로 경사하강법(Gradient Descent)을 적용해 가중치를 최적화한다.

신경망 아키텍처 비교 (Comparison of Neural Network Architectures)

단순한 형태의 기본 ANN(MLP)은 데이터의 특성에 따라 성능의 한계를 보이므로, 이를 극복하기 위해 파생된 특화 신경망 구조들과의 차이점을 표로 분류한다.

비교 항목	기본 ANN (MLP / Feedforward)	CNN (합성곱 신경망)	RNN (순환 신경망)
주요 처리 데이터	정형 데이터(Tabular data)	이미지, 영상 등 2D/3D 격자형 데이터	텍스트, 음성 등 가변 길이의 시계열/순차 데이터
핵심 연산 단위	완전 연결(Fully Connected) 노드 간의 행렬 곱연산	필터(Kernel)를 사용한 합성곱(Convolution) 연산	은닉층 상태(Hidden State)의 순차적 전달 연산
데이터 구조 정보	입력 데이터의 공간적, 시간적 순서 정보가 무시됨	픽셀 간의 로컬(Local) 공간 정보 및 패턴을 보존함	이전 시점의 정보가 현재 시점에 영향을 주어 시간 정보 보존
파라미터 공유 여부	가중치를 공유하지 않음 (파라미터 수가 기하급수적으로 증가)	동일한 필터 가중치를 이동하며 공유 (파라미터 효율성 높음)	각 시점(Time-step) 단위로 동일한 가중치를 공유
주요 한계점	이미지나 텍스트 데이터의 특징을 추출하는 데 비효율적	텍스트와 같은 순차적인 맥락을 파악하는 구문에 부적합	시퀀스가 길어질 경우 장기 의존성(Long-term dependency) 소실 발생

출처 (Sources):

• Goodfellow, I., Bengio, Y., & Courville, A. (2016). Deep Learning, MIT Press: Chapter 6 “Deep Feedforward Networks”. (https://www.deeplearningbook.org/)
• Rumelhart, D. E., Hinton, G. E., & Williams, R. J. (1986). “Learning representations by back-propagating errors.” Nature, 323(6088), 533-536. (역전파 알고리즘을 대중화시킨 핵심 논문)
• IBM Technical Documentation: “What are Neural Networks?” (https://www.ibm.com/topics/neural-networks)
• Stanford CS231n: Convolutional Neural Networks for Visual Recognition: “Neural Networks Part 1: Setting up the Architecture” (http://cs231n.github.io/neural-networks-1/)

Entities

• 인공신경망
• 딥러닝
• 다층 퍼셉트론
• CNN
• RNN
• 활성화 함수
• 역전파
• 경사하강법
• Word2Vec
• Approximate Nearest Neighbor