1. 역전파 (Backpropagation)
ㅇ 인공 신경망에서 학습을 수행하는데 사용되는 핵심 알고리즘 중 하나
- 오차 역전파 알고리즘 이라고도 함
ㅇ 현대 딥러닝 모델(CNN,RNN 등)에서 학습의 핵심이 되는 알고리즘
- 신경망 학습 과정에서 오차를 전파하여 가중치를 조정하는 알고리즘
ㅇ 신경망 출력층에서 계산된 오차를 입력층 방향으로 역전달하면서,
- 가중치와 편향을 조정하는 과정으로,
- 신경망의 예측 값과 실제 값 간의 오차를 최소화(최적화)하기 위해 사용
ㅇ (역전파의 목적)
- 오차를 최소화하기 위해 신경망의 가중치를 점진적으로 조정
- 훈련 데이터에 신경망을 적합시켜 예측 성능을 향상
ㅇ (편집중)
2. 역전파의 주요 단계
ㅇ 순전파 (forward propagation)
- 입력 데이터를 신경망에 전달하여 출력을 계산
- 예측 값과 실제 값의 오차(손실)를 계산
ㅇ 오차 계산
- 손실 함수(평균 제곱 오차, 교차 엔트로피 등)를 통해 출력층의 오차를 계산
ㅇ 오차 역전파
- 출력층에서 입력층 방향으로 각 노드의 기여도를 계산
- 미분(gradient)을 통해 가중치와 편향의 변화량을 구함
ㅇ 가중치 및 편향 업데이트:
- 경사하강법(gradient descent) 등을 사용하여 가중치와 편향을 업데이트
- 이 과정은 학습률(learning rate)에 의해 조정됨
ㅇ (편집중)