1. 손실 함수 (Loss Function)
ㅇ 추정/예측 모델을 정하고, 이 모델이 데이터를 얼마나 잘 추정/예측하는지,
- 그 정도에 대해 수학적으로 표현하는 함수
ㅇ 손실 함수의 정량화
- 모수 θ를 추정량 t로 추정할 때,
- 잘못 추정함으로써 발생되는 손실(loss)량에 대한, 함수적 관계성 정도
ㅇ 손실 함수의 표현식 : (모델이 정확할수록 손실 함수의 값이 작아지도록 정의 함)
- l(t;θ) ≥ 0
. t=θ일 때, l(t;θ) = 0
. t는 표본값 or 실제 관측값
. θ는 모수에 대한 추정값 or 예측값에 대한 추정량
ㅇ 손실 함수의 종류 例)
- 산술 손실 함수
. 모델이, 예측값과 관측값 간의 차이를 산술적으로 계산
. l(t;θ) = (t-θ)2 : 제곱 오차 손실 함수
. l(t;θ) = | t-θ | : 절대값 오차 손실 함수
- 확률 손실 함수
. 모델이, 관측 데이터를 예측할 확률을 최대화하는 방식으로 계산
- 랭킹 손실 함수
. 모델이, 예측해낸 결과값의 순서가 맞는지 판별
ㅇ 손실 함수의 분석 및 최적화 방법
* 기계학습에서, 여러 번 반복해서, 최소값을 찾아가는 과정/방법들
- 경사하강법, 뉴턴법/준뉴턴법, 확률적 경사하강법, 역전파 등
2. 위험 함수 (Risk Function)
ㅇ 특정한 표본추출법에 의해 야기될 수 있는 표본 오차의 정도를 나타내는 함수
- 즉, 그러한 방법에 따른 손실함수의 평균화
ㅇ 위험 함수 표현식
- R(θ;T) = E[l(T;θ)]