Maximum Likelihood   최대 우도, 최대 유사도, 최대 가능도

(2019-02-20)

MLE, Method of Maximum Likelihood Estimation, Maximum Likelihood Method, 최우도법, 최우추정법

1. 우도, 최대 우도  이란?우도는, (Likelihood, 가능성/가능도)
     - 나타난 결과에 따라 여러 가능한 가설들을 평가할 수 있는 측도(Measure)임

  ㅇ 최대 우도는, (Maximum Likelihood)
     - 나타난 결과에 해당하는 각 가설 마다 계산된 우도 값 중 가장 큰 값을 말함
        . 일어날 가능성(우도)이 가장 큰 것을 나타냄
        . 즉, 관측된 랜덤 표본에 해당하는 여러 가설우도함수 값이 최대인 것


2. 최대 우도 추정치/최대 가능도 추정량 (ML Estimator, MLE)

  ㅇ 최대 우도 추정치 또는 최대 가능도 추정량 (ML Estimator, MLE)
     - 우도함수 L(θ)를 최대로하는 모수 θ 값에 대한 추정치 이라하면,
     - 이때의 를 최대우도 추정치 또는 최대 가능도 추정량 (ML Estimator, MLE) 라고함

  ㅇ 일반적으로, 
     - 우도함수가 최대가 되는 모수 θ를 추정치로 채택하는 방법으로는,
     - 우도함수를 최대화시킬 수 있도록 θ에 대해 미분하는 방법을 사용 

  ㅇ 즉, 가장 적절한 추정치(Estimate)로 선호되고 있는 어떤 모수를 θ라 할 때, ☞ 추정기 참조
     - θ의 함수우도함수를 최대로 하기 위해,
     - 우도함수 L(θ)가 미분가능하면, 
     - 이를 최대로 하기위한 조건은,
        . ∂L(θ)/∂θ = 0

  ㅇ 결국, 우도함수편 미분하여 0 으로 놓고, 미지의 모수추정치를 구하게됨
     - 여기서, 편 미분의 사용 이유는,
        . 우도함수표본값 xi모수 θ 모두에 의존하기 때문임


3. 최대 우도 추정법 (ML 추정법,Method of Maximum Likelihood Estimation, MLE)

  ㅇ 최대 우도 추정법
     - 우도함수를 최대화하면서 모수추정하는 방법 (전략 또는 접근법 이라는 표현이 더 적절)
        . 관측된 표본에 기초하여 관측 불가능한 파라미터(모수)를 추정하는 방법론 중 하나
        . 즉, 표본들로부터 알려지지 않은 모집단 확률분포의 형태를 추정해가는 방법론

  ㅇ 최대 우도 추정법 특징
     - 관심이 있는 확률변수 또는 모수(확률분포 특성치)에 대해  사전 정보를 필요로
       하지않는 통계적 추정 과정으로 적당함
        . 모집단이 어떤 종류의 확률분포를 하는지 정도는 알고 있으나,
        . 구체적으로 모집단을 나타내는 수치(모수,확률변수)를 모르는 경우에 주로 사용

     - 최대우도추정법은 표본의 수가 충분히 클 때는,           
        . 바람직한 통계속성(일치성,최량 점진적 정규성)을 갖음    ☞ 점 추정량 선택기준

     - 점추정치를 구하기위해 가장 많이 사용하는 방법임

     - 합리적인 추정량으로 무엇을 삼을지도 불분명한 상황이 많이 있음
        . 이럴때 최대우도추정법이 적절

  ※ 응용/적용 
     - Classification(영상 인식 등) 및 Detection Theory(통신/레이더 등) 
     - 수신 신호최적 검파를 위한 결정규칙ML 규칙, MAP 규칙 참조


[추정 정확성 척도] 1. 평균제곱오차(MSE) 2. 최소평균제곱오차(MMSE) 3. 우도 4. 최대 우도 5. 비용 함수
  1.   기술공통
  2.   기초과학
        1. 과학
    1.   수학
          1. 수학
      1.   기초수학
      2.   집합,논리
      3.   해석학(미적분 등)
      4.   대수학
      5.   확률/통계
        1.   확률 이란?
        2.   확률공간
        3.   확률 모형,분포
        4.   확률 변수
        5.   확률 과정
        6.   통계량
        7.   통계학
              1. 통계학
          1.   모집단,표본
          2.   통계적 기술(記述)
          3.   통계적 추론
                1. 통계적 추론
            1.   표본 분포,표본 통계량
            2.   추정
                  1. 통계적 추정
                  2. 추정량,추정값
                  3. 추정법
                  4. 추정 용어 비교
              1.   점추정
              2.   구간추정
              3.   추정 정확성 척도
                1.   1. 평균제곱오차(MSE)
                    2. 최소평균제곱오차(MMSE)
                    3. 우도
                    4. 최대 우도
                    5. 비용 함수
            3.   가설검정
            4.   검정 유형
          4.   통계적 분석
          5.   베이즈 통계학
      6.   수치해법
    2.   물리
    3.   화학
    4.   지구,천체 과학
    5.   생명과학
    6.   뇌과학
  3.   진동/파동
  4.   방송/멀티미디어/정보이론
  5.   전기전자공학
  6.   통신/네트워킹
  7.   정보기술(IT)
  8.   공업일반(기계,재료등)
  9.   표준/계측/품질
  10.   기술경영

 
        최근수정     요약목록     참고문헌