1. 손실 함수 (Loss Function)
ㅇ 추정/예측 모델을 정하고, 이 모델이 데이터를 얼마나 잘 추정/예측하는지,
- 그 정도에 대해 수학적으로 표현하는 함수
ㅇ 손실 함수의 정량화
- 모수 θ를 추정량 t로 추정할 때,
- 잘못 추정함으로써 발생되는 손실(loss)량에 대한, 함수적 관계성 정도
ㅇ 손실 함수의 표현식 : (모델이 정확할수록 손실 함수의 값이 작아지도록 정의 함)
- l(t;θ) ≥ 0
. t=θ일 때, l(t;θ) = 0
. t는 표본값 or 실제 관측값
. θ는 모수에 대한 추정값 or 예측값에 대한 추정량
ㅇ 손실 함수의 종류 例)
- 산술 손실 함수
. l(t;θ) = (t-θ)2 : 제곱 오차 손실 함수
. l(t;θ) = | t-θ | : 절대값 오차 손실 함수
- 확률 손실 함수
- 랭킹 손실 함수 등
2. 위험 함수 (Risk Function)
ㅇ 특정한 표본추출법에 의해 야기될 수 있는 표본 오차의 정도를 나타내는 함수
- 즉, 그러한 방법에 따른 손실함수의 평균화
ㅇ 위험 함수 표현식
- R(θ;T) = E[l(T;θ)]