Maximum Likelihood   최대 우도, 최대 가능도

1. 우도, 최대 우도  이란?

  ㅇ 우도 / 가능성 / 가능도 는, (Likelihood)
     - 나타난 결과에 따라 여러 가능한 가설들을 평가할 수 있는 측도(Measure)임

  ㅇ 최대 우도 는, (Maximum Likelihood)
     - 나타난 결과에 해당하는 각 가설 마다 계산된 우도 값 중 가장 큰 값을 말함
        . 일어날 가능성(우도)이 가장 큰 것(가설)을 나타냄
        . 관측된 랜덤 표본에 대응하는 여러 가설 중 우도함수 값이 최대인 것

     * 한편, 우도의 계산은,
        . 나타난 결과에 해당하는 각 가설 마다 계산해야 하는 값 임
           .. 나타난 결과 마다 다른 값을 갖는, 여러 가능한 가설들을 계산할 필요 있음
        . 우선, 설계 대상 시스템에 대한 모델화를 하고,
           .. 이 모델로부터, 결과에 대응되는 각 가설 마다 우도를 산출해둠


2. 최대 우도 추정치 / 최대 가능도 추정량 (ML Estimator, MLE)

  ㅇ 최대 우도 추정치 또는 최대 가능도 추정량 (ML Estimator, MLE)
     - 우도함수 L(θ)를 최대로하는 모수 θ 값에 대한 추정치를  이라하면,
     - 이때의 를 최대 우도 추정치 또는 최대 가능도 추정량 (ML Estimator, MLE) 라고함

  ㅇ 일반적으로, 
     - 우도함수가 최대가 되는 모수 θ를 추정치로 구하는 방법으로는,
     - 우도함수를 최대화시킬 수 있도록 θ에 대해 미분하는 방법을 사용 

  ㅇ 즉, 가장 적절한 추정치(Estimate)로 선호되고 있는 어떤 모수를 θ라 할 때, ☞ 추정기 참조
     - θ의 함수인 우도함수를 최대로 하기 위해,
     - 우도함수 L(θ)가 미분가능하면, 
     - 이를 최대로 하기위한 조건은,
        . ∂L(θ)/∂θ = 0

  ㅇ 결국, 우도함수를 편 미분하여 0 으로 놓고, 미지의 모수인 추정치를 구하게됨
     - 여기서, 상 미분이 아닌, 편 미분을 사용하는 이유는,
        . 우도함수가 표본값 xi과 모수 θ 모두에 의존하기 때문임


3. 최대 우도 추정법 (ML 추정법,Method of Maximum Likelihood Estimation, MLE)

  ㅇ 최우 원리, 최대 우도 원리 (Principle of Maximum Likelihood) 이란?
     - 나타난 결과는 여러 원인 중 일어날 가능성(조건부확률)이 가장 큰 원인에서 비롯된다는 원리

  ㅇ 최대 우도 추정법 이란?
     - 우도함수를 최대화시키는 모수를 추정하는 방법 
        . 관측된 표본에 기초하여 관측 불가능한 파라미터(모수)를 추정하는 방법론 중 하나
        . 여기서, 모수(파라미터)는, 모집단 확률분포를 나타내는 파라미터 임
        . 결국, 표본들로부터 알려지지 않은 모집단 확률분포의 형태(특성치)를 추정해가는 방법론 임
     - 전략 또는 접근법 이라는 표현이 더 적절

  ※ 응용/적용 
     - Classification(영상 인식 등) 및 Detection Theory(통신/레이더 등) 
     - 수신 신호의 최적 검파를 위한 결정규칙  ☞ ML 규칙, MAP 규칙 참조


4. 최대 우도 추정법의 특징

  ㅇ 관심이 있으나 알려지지 않은, 확률변수 또는 모수(확률분포 특성치)에 대해, 
     사전 정보를 필요로 하지않는 통계적 추정 과정으로 적당함
     - 대략, 모집단이 어떤 종류의 확률분포(확률모델)를 하는지 정도는 알고 있으나,
     - 구체적으로, 모집단을 나타내는 수치(모수,확률변수)를 모르는 경우에 주로 사용
     - 한편, 이렇게 모수(파라미터)를 찾아가는 과정을 학습 이라고 함

  ㅇ 최대 우도 추정법은 표본의 수가 충분히 클 때는,           
     - 바람직한 통계적 속성(일치성,최량 점진적 정규성)을 갖음    ☞ 점 추정량 선택기준

  ㅇ 점추정치를 구하기위해 가장 많이 사용하는 방법임

  ㅇ 합리적인 추정량으로 무엇을 삼을지도 불분명한 상황이 많이 있음
     - 이럴때 최대 우도 추정법이 적절


5. 최대 우도 추정법의 수학적 표현식

   
[# \hat{Θ} = \underset{Θ}{\text{arg max}} \; p(X|Θ) #]

  ㅇ {#p(X|Θ)#} : 우도 
     - 사건 X가 일어날 가능성 있는 부류/그룹/집단 {#Θ_i#}에 대한 조건부확률 함수

  ㅇ {#\underset{Θ}{\text{arg max}} \; p(\cdot)#} : 함수 p(·)를 최대로 만드는, 파라미터(매개변수) {#Θ#}의 값
     - [참고] ☞ 함수 최대값 파라미터 (arg min, arg max) 참조

  ㅇ {#\hat{Θ}#} : 우도 {#Θ#}를 최대로 하는 추정량
     - (추정량 : 관측 표본에 기초하여, 알려지지 않은 모집단 모수를 추정하는 통계량)

  ※ 결국, 우도 {#p(X|Θ)#}를 최대화시키는 파라미터 {#Θ#}를 구하려 함