1. 우도 (Likelihood, 尤度, 가능성/가능도)
ㅇ 우도의 의미
- 나타난 결과에 따라 여러 가능한 가설들을 평가할 수 있는 `측도(Measure)`임
. 확률적으로 조건부확률로 표현할 수 있음 ☞ 아래 2.항(우도의 확률적 표현), 사후확률 참조
- 우도는, 확률로 표현되나 각 가설에 대한 `가능도/지지도` 등의 의미가 강함
. 즉, 각 가설에 대한 우도 값은, 그 가설을 지지하는/받쳐주는 정도라고 볼 수 있음
ㅇ 우도의 활용
- 알려진 결과(관측된 표본)에 기초하여,
- 미지 모수에 대한 추정(가설)의 정확성에 대한 질적인 평가 척도 로써 삼음
ㅇ 우도의 계산
- 나타난 결과에 해당하는 각 가설 마다 계산해야 하는 값 임
. 나타난 결과 마다 다른 값을 갖는, 여러 가능한 가설들을 계산
- 우선, 설계 대상 시스템에 대한 모델화를 하고,
. 이 모델로부터, 결과에 대응되는 각 가설 마다 우도를 산출 함
ㅇ 한편, 최대 우도 원리는,
- 나타난 결과에 해당하는 각 가설 마다 계산된 우도 값 중 가장 큰 값을 선택하는 것
. [참고] ☞ `아래 5.항` 이외에 `최우추정법`, `베이즈 통계학` 등도 참조
2. 우도의 확률적 표현 = 조건부확률
ㅇ 우도(조건부확률)의 표기 : P(Bj|Ai)
- 각각의 원인 Ai으로부터 결과 Bj가 나타날 것이라는 가설에 대해 지지하는 정도
. 나타난 결과 Bj 마다 다른 값을 갖는 여러 가설 Ai 들을 평가할 수 있는 조건부확률
. 이때, 각각의 원인 Ai은, 분류 범주/분류 영역/카테고리 라고도 함
3. 우도 함수의 정의 (수리적 표현)
ㅇ 우도 함수 (Likelihood Function)
- 어떤 확률 모델이 관측(주어진) 데이터를 생성할 가능성을 나타냄
[# L(θ) = L(x_1,x_2,\cdots,x_n\,;\,θ) #]
- {#x_n#} : 관측 표본 (확률 표본)
- {#θ#} : 모수
. 통상, 모집단의 모수는 미지의 특정(고정) 量이지만,
.. 관측된 표본에 의해 추정되는 모수는, 변화가능한 미지의 변수 처럼 취급 가능
- {#L(θ)#} : 우도 함수
. 관측 결과를 초래한 미지의 모수를 추정하는 것에 대한, 확률 함수적 표현으로써,
.. 미지의 모수 θ라는 변수에 의존하는 함수
. 관측값에 포함된 모수에 대한 정보를 나타내는 함수
. 관측값의 확률분포를 모수의 함수로써 나타낸 것
4. 우도 함수의 확률 함수적 표현
ㅇ 만일, 모집단이 따르는 확률분포를 알 때,
- 우도 함수를, 확률밀도함수에 의해 표현하면,
. 모집단이, 미지의 모수 θ에 확률적 관계로써, 확률밀도함수 {#f_X(x;θ)#}를 따르고,
. 이로부터, 관측된 표본치 {#x_1,x_2,\cdots,x_n#}들로 구성된 관측 데이터 집합이 있을 때,
. 관측된 랜덤 표본들에 대한 결합확률밀도함수가, 우도 함수가 됨
.. (결합확률밀도함수 : 하나의 표본공간을 같이하는 다수의 확률변수들이 결합된 표현)
[# L(θ) = L(x_1,x_2,\cdots,x_n\,;\,θ) = f_X(x_1,x_2,\cdots,x_n\,;\,θ) #]
ㅇ 만일, 관측된 랜덤 표본들이 상호독립적이면,
- 우도 함수는, 각각의 확률밀도함수들이 곱해지는 형태를 취함
[# L(θ) = f_X(x_1;θ) \times f_X(x_2;θ) \times \cdots \times f_X(x_n;θ)
= \prod^n_{i=1} f_X(x_i\,;\,θ) #]
ㅇ 만일, 관측된 랜덤 표본들이 이산적 확률변수 이라면,
- 우도는, 결합확률이 됨
[# L(x_1,x_2,\cdots,x_n\,;\,θ) = P_X(X_1=x_1,X_2=x_2,\cdots,X_n=x_n \,|\, θ) #]
ㅇ LLF (Log-Likelihood Function, 로그 우도 함수) : 우도 함수에 로그를 취한 함수
- 데이터 {#\mathbf{x}=\{x_1,x_2,\cdots,x_n\}#}, 모델 파라미터 {#θ#}일 때,
. {#LLF(θ) = \log L(θ;x) = \sum^n_{i=1} \log p(x \vert θ)#}
- 용도 : 확률 기반 모델(분류 등)에서 손실 함수 등에 쓰여짐
. 손실 함수의 정량화 : 모수 θ를 추정량 x로 추정할 때,
.. 잘못 추정함으로써 발생되는 손실(loss)량에 대한, 함수적 관계성 정도
5. 우도를 기본으로 한 최대 우도 원리
ㅇ 우도 함수는,
- 표본으로부터 얻을 수 있는 모수에 대한 확률적인 모든 정보를 가진다고 보고,
ㅇ 이를 바탕으로,
. 모수 {#θ#}에 대한 가능성(우도)이 가장 높은 통계량을 찾고자,
. 즉, 우도 함수 {#L(x;θ)#}를 최대로 하는 통계량을 찾으려는 의도를 표현코자,
ㅇ 아래와 같이,
- 수학적인 표현식으로 간략하게 나타내 보이고,
[# \hat{θ}(X_1,X_2,\cdots,X_n) = \underset{θ}{\text{arg max}}
\; L(x_1,x_2,\cdots,x_n\,;\,θ) #]
. (여기서, arg max : ☞ 함수 최대값 파라미터)
ㅇ 이를 두고,
- 최대우도 추정법 (최대우도 추정량 {#\hat{θ}#}) 이라고 함