Maximum Likelihood   최대 우도, 최대 가능도

(2023-11-29)

최대 유사도, MLE, Method of Maximum Likelihood Estimation, 최우 추정법, 최대 우도 추정법, Maximum Likelihood Method, ML Method, 최우도법, 최대 우도 방법, 최대 우도법, 최대 가능도 법


1. 우도, 최대 우도  이란?우도 / 가능성 / 가능도 는, (Likelihood)
     - 나타난 결과에 따라 여러 가능한 가설들을 평가할 수 있는 측도(Measure)임

  ㅇ 최대 우도 는, (Maximum Likelihood)
     - 나타난 결과에 해당하는 각 가설 마다 계산된 우도 값 중 가장 큰 값을 말함
        . 일어날 가능성(우도)이 가장 큰 것(가설)을 나타냄
        . 관측된 랜덤 표본에 대응하는 여러 가설우도함수 값이 최대인 것

     * 한편, 우도의 계산은,
        . 나타난 결과에 해당하는 각 가설 마다 계산해야 하는 값 임
           .. 나타난 결과 마다 다른 값을 갖는, 여러 가능한 가설들을 계산할 필요 있음
        . 우선, 설계 대상 시스템에 대한 모델화를 하고,
           .. 이 모델로부터, 결과에 대응되는 각 가설 마다 우도를 산출 함


2. 최대 우도 추정치 / 최대 가능도 추정량 (ML Estimator, MLE)

  ㅇ 최대 우도 추정치 또는 최대 가능도 추정량 (ML Estimator, MLE)
     - 우도함수 L(θ)를 최대로하는 모수 θ 값에 대한 추정치 이라하면,
     - 이때의 를 최대우도 추정치 또는 최대 가능도 추정량 (ML Estimator, MLE) 라고함

  ㅇ 일반적으로, 
     - 우도함수가 최대가 되는 모수 θ를 추정치로 구하는 방법으로는,
     - 우도함수를 최대화시킬 수 있도록 θ에 대해 미분하는 방법을 사용 

  ㅇ 즉, 가장 적절한 추정치(Estimate)로 선호되고 있는 어떤 모수를 θ라 할 때, ☞ 추정기 참조
     - θ의 함수우도함수를 최대로 하기 위해,
     - 우도함수 L(θ)가 미분가능하면, 
     - 이를 최대로 하기위한 조건은,
        . ∂L(θ)/∂θ = 0

  ㅇ 결국, 우도함수편 미분하여 0 으로 놓고, 미지의 모수추정치를 구하게됨
     - 여기서, 상 미분이 아닌, 편 미분을 사용하는 이유는,
        . 우도함수표본값 xi모수 θ 모두에 의존하기 때문임


3. 최대 우도 추정법 (ML 추정법,Method of Maximum Likelihood Estimation, MLE)

  ㅇ 최우 원리, 최대 우도 원리 (Principle of Maximum Likelihood) 이란?
     - 나타난 결과는 여러 원인 중 일어날 가능성(조건부확률)이 가장 큰 원인에서 비롯된다는 원리

  ㅇ 최대 우도 추정법 이란?
     - 우도함수를 최대화시키는 모수추정하는 방법 
        . 관측된 표본에 기초하여 관측 불가능한 파라미터(모수)를 추정하는 방법론 중 하나
        . 여기서, 모수(파라미터)는, 모집단 확률분포를 나타내는 파라미터 임
        . 결국, 표본들로부터 알려지지 않은 모집단 확률분포의 형태(특성치)를 추정해가는 방법론 임
     - 전략 또는 접근법 이라는 표현이 더 적절

  ※ 응용/적용 
     - Classification(영상 인식 등) 및 Detection Theory(통신/레이더 등) 
     - 수신 신호최적 검파를 위한 결정규칙ML 규칙, MAP 규칙 참조


4. 최대 우도 추정법의 특징

  ㅇ 관심이 있으나 알려지지 않은, 확률변수 또는 모수(확률분포 특성치)에 대해, 
     사전 정보를 필요로 하지않는 통계적 추정 과정으로 적당함
     - 대략, 모집단이 어떤 종류의 확률분포(확률모델)를 하는지 정도는 알고 있으나,
     - 구체적으로, 모집단을 나타내는 수치(모수,확률변수)를 모르는 경우에 주로 사용
     - 한편, 이렇게 모수(파라미터)를 찾아가는 과정을 학습 이라고 함

  ㅇ 최대우도추정법은 표본의 수가 충분히 클 때는,           
     - 바람직한 통계속성(일치성,최량 점진적 정규성)을 갖음    ☞ 점 추정량 선택기준점추정치를 구하기위해 가장 많이 사용하는 방법임

  ㅇ 합리적인 추정량으로 무엇을 삼을지도 불분명한 상황이 많이 있음
     - 이럴때 최대우도추정법이 적절


5. 최대 우도 추정법의 수학적 표현식

   
[# \hat{Θ} = \underset{Θ}{\text{arg max}} \; p(X|Θ) #]
ㅇ {#p(X|Θ)#} : 우도 - 사건 X가 일어날 가능성 있는 부류/그룹/집단 {#Θ_i#}에 대한 조건부확률 함수 ㅇ {#\underset{Θ}{\text{arg max}} \; p(\cdot)#} : 함수 p(·)를 최대로 만드는, 파라미터(매개변수) {#Θ#}의 값 - [참고] ☞ 함수 최대값 파라미터 (arg min, arg max) 참조 ㅇ {#\hat{Θ}#} : 우도 {#Θ#}를 최대로 하는 추정량 - (추정량 : 관측 표본에 기초하여, 알려지지 않은 모집단 모수를 추정하는 통계량) ※ 결국, 우도 {#p(X|Θ)#}를 최대화시키는 파라미터 {#Θ#}를 구하려 함

추정 정확성 척도
   1. 추정 오차   2. 평균제곱오차 (MSE)   3. 최소평균제곱오차 (MMSE)   4. 우도 (Likelihood)   5. 최대 우도 (MLE)   6. 비용 함수  


Copyrightⓒ written by 차재복 (Cha Jae Bok)               기술용어해설 후원
"본 웹사이트 내 모든 저작물은 원출처를 밝히는 한 자유롭게 사용(상업화포함) 가능합니다"