Maximum Likelihood   최대 우도, 최대 유사도, 최대 가능도

(2018-03-08)

MLE, Method of Maximum Likelihood Estimation, Maximum Likelihood Method, 최우도법, 최우추정법

1. 우도, 최대 우도  이란?우도는, (Likelihood, 가능성/가능도)
     - 나타난 결과에 따라 여러 가능한 가설들을 평가할 수 있는 측도(Measure)임

  ㅇ 최대 우도는, (Maximum Likelihood)
     - 나타난 결과에 해당하는 각 가설 마다 계산된 우도 값 중 가장 큰 값을 말함
        . 일어날 가능성(우도)이 가장 큰 것을 나타냄
        . 즉, 관측된 랜덤 표본에 해당하는 여러 가설우도함수 값이 최대인 것


2. 최대 우도 추정치/최대 가능도 추정량 (ML Estimator, MLE)

  ㅇ 최대 우도 추정치 또는 최대 가능도 추정량 (ML Estimator, MLE)
     - 우도함수 L(θ)를 최대로하는 θ 값에 대한 추정치 이라하면,
     - 이때의 를 최대우도 추정치 또는 최대 가능도 추정량 (ML Estimator, MLE) 라고함

  ㅇ 일반적으로, 
     - 우도함수가 최대가 되는 모수 θ를 추정치로 채택하는 방법으로는,
     - 우도함수를 최대화시킬 수 있도록 θ에 대해 미분하는 방법을 사용 

  ㅇ 즉, 가장 적절한 추정치(Estimate)로 선호되고 있는 어떤 모수를 θ라 할 때, ☞ 추정기 참조
     - θ의 함수우도함수를 최대로 하기 위해,
     - 우도함수 L(θ)가 미분가능하면, 
     - 이를 최대로 하기위한 조건은,
        . ∂L(θ)/∂θ = 0

  ㅇ 결국, 우도함수편 미분하여 0 으로 놓고, 미지의 모수추정치를 구하게됨
     - 여기서, 편 미분의 사용 이유는,
        . 우도함수표본값 xi모수 θ 모두에 의존하기 때문임


3. 최대 우도 추정법 (ML 추정법,Method of Maximum Likelihood Estimation, MLE)

  ㅇ 최대 우도 추정법
     - 우도함수를 최대화하면서 모수추정하는 방법 (전략 또는 접근법 이라는 표현이 더 적절)
        . 관측된 표본에 기초하여 관측 불가능한 파라미터(모수)를 추정하는 방법론 중 하나
        . 즉, 표본들로부터 알려지지 않은 모집단 확률분포의 형태를 추정해가는 방법론

  ㅇ 최대 우도 추정법 특징
     - 관심이 있는 확률변수 또는 모수(확률분포 특성치)에 대해  사전 정보를 필요로
       하지않는 통계적 추정 과정으로 적당함
        . 모집단이 어떤 종류의 확률분포를 하는지 정도는 알고 있으나,
        . 구체적으로 모집단을 나타내는 수치(모수,확률변수)를 모르는 경우에 주로 사용

     - 최대우도추정법은 표본의 수가 충분히 클 때는,           
        . 바람직한 통계속성(일치성,최량 점진적 정규성)을 갖음    ☞ 점 추정량 선택기준

     - 점추정치를 구하기위해 가장 많이 사용하는 방법임

     - 합리적인 추정량으로 무엇을 삼을지도 불분명한 상황이 많이 있음
        . 이럴때 최대우도추정법이 적절

  ※ 응용/적용 
     - Classification(영상 인식 등) 및 Detection Theory(통신/레이더 등) 
     - 수신 신호최적 검파를 위한 결정규칙ML 규칙, MAP 규칙 참조


[추정 정확성 척도] 1. 평균제곱오차(MSE) 2. 최소평균제곱오차(MMSE) 3. 우도 4. 최대 우도 5. 비용 함수

 
        최근수정     요약목록(시험중)     참고문헌