044. 인공신경망 분석

1. ANN

• perceptron
• 비선형성 한계성 - XOR 문제를 풀지 못함
  • backprogation (역전파 알고리즘) 으로 비선형성을 극복산 다계층 퍼셉트론

• 입력층 - 은닉층 - 출력층 구성
  • input layer - hidden - output
    • hidden layer 숫자에 따라 단층 / 다층 NN 구별
    • 은닉층이 여러개일 때
      • 각 층마다 여러개의 뉴런으로 구성
      • 각 층의 뉴런들은 전후층의 뉴런들과 연결
      • 동일 층의 뉴런들은 서로 연결되어 있지 않음

• 뉴런 (node) 는 기본적인 정보처리 단위

  • 뉴런 여러개가 weighted link 를 통해 연결된 형태.
  • 각 weighted link 에는 수치적인 가중치가 있고, 이는 인간뇌의 시냅스에 해당
  • 가중치는 한 층의 뉴런들이 다른 층의 뉴런들과 연결될 때 그 연결강도를 결정
    • 최초 가중치는 랜덤으로 설정, 학습 iter 하면서 최적화
    • $\mathbf{w}\ast \mathbf{x}$ ($\mathbf{x}$ 는 $n$개의 입력신호) 가 인풋되고, 이후 activation function 이 새로운 활성화 수준 계산해서 출력 링크로 출력 신호를 보냄.
      • 입력신호는 다른 뉴런의 출력이거나 미가공 데이터
      • 출력신호는 다른 뉴런의 입력이 되거나 최종적인 해 (solution)

• 뉴런은 전이함수, 즉 activation function 을 사용하며, 활성함수를 이용해 출력을 결정하며 입력신호의 가중치 합을 계산하여 임계값과 비교한다.

$$X=\sum _{i=1}^n{x}_i{w}_i,Y=\{\begin{array}{ll}-1& \text{if }X\ge \theta \\ 1& \text{if }X<\theta \end{array}$$

---

2. 뉴런의 활성함수 (activation function)

---

3. 단일 뉴런의 학습 (단층 퍼셉트론)

퍼셉트론은 선형 결합기와 하드 리미터로 구성되며, 초평면 (hyperplane) 은 n차원 공간의 2개의 영역으로 나눈다. 초평면을 이하의 선형 분리함수로 정의한다.

$$\sum x_i{w}_i-\theta =0$$

---

신경망 모형 구축시 고려사항

학습모드

은닉층 / 은닉노드의 수

overfitting 문제

경사감소소멸 문제

Gradient Descent Vanishing