Likelihood   우도, 가능도

(2023-11-15)

Likelihood Function, 우도 함수, 가능도 함수


1. 우도 (Likelihood, 尤度, 가능성/가능도)

  ㅇ 우도의 의미
     - 나타난 결과에 따라 여러 가능한 가설들을 평가할 수 있는 `측도(Measure)`임
        . 확률적으로 조건부확률로 표현할 수 있음  ☞ 2.번항(우도의 확률적 표현), 사후확률 참조
     - 우도는, 확률로 표현되나 각 가설에 대한 `가능도/지지도` 등의 의미가 강함
        . 즉, 각 가설에 대한 우도 값은, 그 가설을 지지하는/받쳐주는 정도라고 볼 수 있음

  ㅇ 우도의 활용
     - 알려진 결과(관측된 표본)에 기초하여,
     - 미지 모수에 대한 추정(가설)의 정확성에 대한 질적인 평가 척도 로써 삼음

  ㅇ 우도의 계산
     - 나타난 결과에 해당하는 각 가설 마다 계산해야 하는 값 임
        . 나타난 결과 마다 다른 값을 갖는, 여러 가능한 가설들을 계산
     - 우선, 설계 대상 시스템에 대한 모델화를 하고,
        . 이 모델로부터, 결과에 대응되는 각 가설 마다 우도를 산출 함

  ㅇ 한편, 최대 우도 원리는, 
     - 나타난 결과에 해당하는 각 가설 마다 계산된 우도 값 중 가장 큰 값을 선택하는 것
        . [참고] ☞ 아래 4.항, 최우추정법, 베이즈 통계학 등 참조


2. 우도의 확률적 표현 = 조건부확률

  ㅇ 우도(조건부확률)의 표기 : P(Bj|Ai)
     - 각각의 원인 Ai으로부터 결과 Bj가 나타날 것이라는 가설에 대해 지지하는 정도
        . 나타난 결과 Bj 마다 다른 값을 갖는 여러 가설 Ai 들을 평가할 수 있는 조건부확률
        . 이때, 각각의 원인 Ai은, 분류 범주/분류 영역/카테고리 라고도 함


3. 우도 함수확률 함수적 표현 (수리적 표현)

  ㅇ 우도 함수의 정의 (Likelihood Function)
       
[# L(θ) = L(x_1,x_2,\cdots,x_n\,;\,θ) #]
- {#x_n#} : 관측 표본 (확률 표본) - {#θ#} : 모수 . 통상, 모집단모수는 미지의 특정(고정) 量이지만, . 관측된 표본에 의해 추정되는 모수는, 변화가능한 미지의 변수 처럼 취급 가능 - {#L(θ)#} : 우도 함수 . 관측 결과를 초래한 미지의 모수추정하는 것에 대한, 확률 함수적 표현으로써, . 미지의 모수 θ라는 변수에 의존하는 함수 ㅇ 만일, 모집단이 따르는 확률분포를 알 때, - 우도 함수를, 확률밀도함수에 의해 표현하면, . 모집단이, 미지의 모수 θ에 확률적 관계로써, 확률밀도함수 {#f_X(x;θ)#}를 따르고, . 이로부터, 관측된 표본치 {#x_1,x_2,\cdots,x_n#}들로 구성된 관측 데이터 집합이 있을 때, . 관측된 랜덤 표본들에 대한 결합확률밀도함수가, 우도 함수가 됨 .. (결합확률밀도함수 : 하나의 표본공간을 같이하는 다수의 확률변수들이 결합된 표현)
[# L(θ) = L(x_1,x_2,\cdots,x_n\,;\,θ) = f_X(x_1,x_2,\cdots,x_n\,;\,θ) #]
ㅇ 만일, 관측된 랜덤 표본들이 상호독립적이면, - 우도 함수는, 각각의 확률밀도함수들이 곱해지는 형태를 취함
[# L(θ) = f_X(x_1;θ) \times f_X(x_2;θ) \times \cdots \times f_X(x_n;θ) = \prod^n_{i=1} f_X(x_i\,;\,θ) #]
ㅇ 만일, 관측된 랜덤 표본들이 이산적 확률변수 이라면, - 우도는, 결합확률이 됨
[# L(x_1,x_2,\cdots,x_n\,;\,θ) = P_X(X_1=x_1,X_2=x_2,\cdots,X_n=x_n \,|\, θ) #]
4. 우도를 기본으로 한 최대 우도 원리 ㅇ 우도 함수는, 표본으로부터 얻을 수 있는 모수에 대한 확률적인 모든 정보를 가진다고 보고, ㅇ 이를 바탕으로, 모수 {#θ#}에 대한 가능성(우도)이 가장 높은 통계량을 찾고자, ㅇ 우도 함수 {#L(x;θ)#}를 최대로 하는 통계량을 찾으려는 의도의 표현식으로 아래와 같이 나타내고, ㅇ 이를 최대우도 추정법 (최대우도 추정량 {#\hat{θ}#}) 이라고 함
[# \hat{θ}(X_1,X_2,\cdots,X_n) = \underset{θ}{\text{arg max}} \; L(x_1,x_2,\cdots,x_n\,;\,θ) #]
- (arg max : 함수 최대값 파라미터)

추정 정확성 척도
   1. 추정 오차   2. 평균제곱오차 (MSE)   3. 최소평균제곱오차 (MMSE)   4. 우도 (Likelihood)   5. 최대 우도 (MLE)   6. 비용 함수  
베이즈 통계학
   1. 베이즈 통계   2. 베이즈 정리   3. 사전확률/사후확률   4. 조건부 확률   5. 우도  


Copyrightⓒ written by 차재복 (Cha Jae Bok)               기술용어해설 후원
"본 웹사이트 내 모든 저작물은 원출처를 밝히는 한 자유롭게 사용(상업화포함) 가능합니다"