1. 활성화 함수 (Activation Function)
ㅇ 신경망에서 입력 신호를 변환하여 출력 신호를 만드는 비선형 함수
- 비선형성을 도입하기 위해, 활성화 함수가 사용
. 복잡한 패턴 학습이 가능
. 신호의 강도 조절
. 출력값의 범위 정규화
ㅇ 뉴런 기능의 수학적 모델화를 위해,
- 입력 데이터에 대해,
- 가중치를 적용하고, 이 가중치의 합을 계산한 후,
- 활성화 함수를 통해, 최종 출력을 결정토록 함
2. 활성화 함수의 주요 종류
ㅇ 시그모이드 함수 (Sigmoid Function)
[# σ(x) = \frac{1}{1+e^{-x}} #]
. 값이 0 ~ 1 사이로 압축
. 다중 클래스 분류에 사용
ㅇ 소프트맥스 함수 (Softmax Function)
. 확률값 출력
. 다중 클래스 분류에 사용
ㅇ ReLU (Rectified Linear Unit)
[# ReLU(x) = max(0,x) #]
. 기울기 소실(Vanishing Gradient) 문제 완화
. 대부분의 은닉층에서 사용
ㅇ 하이퍼볼릭 탄젠트 함수 (tanh) 등