1. 생체 신경망 (Biological Neural Network, BNN)
ㅇ 구조
- 1천억개(1O11개) 정도의 신경 세포인 뉴런들이 있고,
. (뉴런 (Neuron) : 뇌의 정보 처리에 관여하는 기본 세포)
- 이들 간을 연결하는 1천조개 이상의 시냅스들로 구성된 결합체
. (시냅스 (Synapse) : 각 뉴런 간을 연결하는 수천만개의 연결부위)
ㅇ 기능
- 시냅스로 연결된, 적응적,병렬적 특성을 갖는, 신경 회로망을 통해,
- 감각,기억,판단,운동 기능을 일으키며, 조화롭게 발현됨
ㅇ 특징
- 병렬 처리, 적응적 학습, 비선형성
2. 인공 신경망 (Artificial Neural Network, ANN)
ㅇ 인간의 뇌 구조(신경계)에 착안, 이를 모방하여 만든 기계 학습법(학습 모델)의 총칭
- 적응적 학습과 병렬 처리 등이 가능함
※ [참고] ☞ 인공 뉴런 참조
- 생물학적 뉴런의 작동 원리를 수학적으로 모방한 컴퓨팅 소자
3. 인공 신경망의 특징
ㅇ 학습이 가능함
- 훈련 데이터 집합을 주면, 연결 강도를 자동 추정하며, 인공 신경망이 만들어짐
ㅇ 적응적 학습
- 신경 세포 구조를 적응적으로 변화시키는 것에 의해 학습 함
. 잘못된 답으로 이끄는 뉴런들 사이의 연결은 약화되고,
. 올바른 답으로 이끄는 연결은 강화됨
* 한편, 시냅스 가소성 (Synaptic Plasticity) 이란? ☞ 신경 가소성 참조
. 시냅스를 통해 신경 전달 물질이 많이 전달되면, 관계 강화됨
. 그 역이면, 관계 약화됨
ㅇ 병렬 정보 처리
- 정보가 신경망 특정 위치가 아니라 신경망 전체에 동시에 저장되고 처리됨
. 통상, 노드의 출력이 연결 강도와 곱하여, 계산이 이루어지므로,
. 각각 독립적으로 계산 처리되면서, 병렬 처리 가능
※ 사실상, 인공 신경망(ANN)은 딥러닝의 핵심
- 다재다능하고, 강력하며, 확장성이 뛰어남
4. 인공 신경망의 주요 모델
※ 생물학적 뉴런 및 신경망 기능을 수학적으로 모델링한 것
ㅇ 퍼셉트론 (Perceptron) : 인공 신경망의 기본 단위
- 선형 분류기의 일종
- 2개의 층 만을 갖음 (입력층, 출력층)
- 구성요소 : 입력값, 가중치, 바이어스, 가중치합, 활성화 함수
- 매개변수 : 가중치(weight), 편향(bias)
ㅇ 다층 퍼셉트론 (MLP, Multi Layer Perceptron)
- 비선형 분류기의 일종
- 입력 층, 은닉 층 (하나 이상), 출력 층
* 다층 퍼셉트론은, 딥러닝의 기본적인 구성 요소로, CNN, RNN 등의 심층 신경망의 기초가 됨
ㅇ 심층 신경망 (DNN, Deep Neural Network)
- 3층 이상의 깊은 계층을 가진 신경망의 총칭
5. 인공 신경망의 학습 방식
ㅇ 가중 링크 (Weighted Link)
- 뉴런들 간에 링크로 연결되어 있고,
- 그에 연관된 수치 가중치가 있어서,
- 가중치들을 반복적으로 조정하며 학습이 이루어짐
ㅇ 즉, 가중치 조정으로 프로그램될 수 있는 학습능력을 갖는다고 볼 수 있음
6. 인공 신경망의 응용
ㅇ 분류,예측,평가,합성,제어 등 다양한 분야에 적용 가능함
- 즉, 일반적인 문제 해결을 위한 수학적 도구로써 주로 활용됨
ㅇ 例) 이미지 분류, 음성 인식, 동영상 추천, 바둑 경기 등
7. 인공 신경망의 종류
ㅇ DNN (Deep Neural Network, 심층 신경망)
- 3층 이상의 은닉층을 가진 인공 신경망 구조
. 데이터 내의 복잡하고 비선형적 관계를 모델링할 수 있음
. 다양한 형태의 신경망(CNN, RNN 등)의 기반이 됨
- 응용 例) 음성 인식, 이미지 분류, 자연어 처리 등
ㅇ CNN (Convolutional Neural Network, 합성곱 신경망)
- 이미지나 영상 같은 공간적 데이터를 처리하기 위해,
합성곱 연산을 활용해 특징을 추출하고 학습하는 인공 신경망 구조
. 컴퓨팅 성능의 향상, 훈련 데이터의 증가, 심층 신경망 훈련에 대한 다양한 기법 덕분에,
. 복잡한 시각 작업에서 CNN은 인간을 능가하게 됨
- 응용 例) 검색 서비스, 자율 주행차, 자동 비디오 분류 시스템 등
ㅇ RNN (Recurrent Neural Network, 순환 신경망)
- 시계열 데이터나 순차적 데이터를 처리하기 위한 구조
. 이전 시점의 출력을 다음 시점의 입력으로 전달하여,
. 시간적 의존성(temporal dependency)을 학습
- 기본 RNN의 한계 : 긴 시퀀스 학습 시 기울기 소실(Vanishing Gradient) 문제 발생
- 개선형 구조
. LSTM (Long Short-Term Memory) : 장기 의존성(Long-term dependency)을 기억하도록 개선
. GRU (Gated Recurrent Unit) : LSTM보다 구조가 단순하며 유사한 성능을 보임
- 응용 例) 음성 인식, 자연어 처리, 주가 예측, 기계 번역 등