1. 인공 뉴런 (Artificial Neuron)
ㅇ 생물학적 뉴런의 작동 원리를 수학적으로 모방한 컴퓨팅 소자
- 인공 신경망(ANN)의 기본 구성 단위
. 입력을 받아 계산을 수행하고 출력을 내보내는 작은 단위
* 결국,
. 여러 입력을 받아 가중치를 곱하고,
. 그 합에 활성화 함수를 적용하여,
. 이로부터 출력값을 생성하는, 최소 연산 단위
* 임계값 : 자극 전달 기준치
. 입력 자극의 크기가 특정값 이상일 경우에 만 다른 뉴런에 전달
2. 인공 뉴런 종류
ㅇ 맥컬록-피츠 뉴런 (McCulloch-Pitts Neuron)
- 최초의 인공 뉴런 모델
. 1943년, 워런 맥컬록(Warren McCulloch)과 월터 피츠(Walter Pitts)가 제안
- 오늘날 인공신경망의 이론적 출발점
- 간단하지만 논리 연산(AND, OR, NOT) 등을 구현할 수 있음
- 단, 가중치 조정이 불가능하고, 학습 기능이 없음
ㅇ 퍼셉트론
- 출력 범위 : 0 또는 1
- 특징 : 이진 분류용 기본 뉴런
ㅇ 시그모이드
- 출력 범위 : (0, 1)
- 특징 : 비선형성 도입, 출력이 확률처럼 보임
ㅇ tanh
- 출력 범위 : (-1, 1)
- 특징 : 중심이 0 이라서 학습 안정성 향상
ㅇ ReLU
- 출력 범위 : [0, ∞)
- 특징 : 빠른 학습, 깊은 층에서도 성능 좋음
ㅇ Leaky ReLU
- 출력 범위 : (-∞, ∞)
- 특징 : 죽은 뉴런 문제 보완
ㅇ 소프트맥스
- 출력 범위 : (0, 1), 합 = 1
- 특징 : 다중 클래스 분류용 출력층에 적합