Bayes' Theorem, Bayes' Rule   베이즈 정리, 베이즈의 정리, 베이즈 규칙

(2017-02-27)

베이지안 정리, 베이시안 정리, 베이즈 통계, 베이즈 확률

1. `기존 통계학`과 `베이즈 통계학` 차이점

  ㅇ 기존 통계학   : 모집단을 변하지 않은 대상으로 봄
     - 모집단에 대해 규정시킨 확률분포 또는 모수를 출발점으로 삼음

  ㅇ 베이즈 통계학 : 모집단을 미리 확정짓지 않음
     - 모수확률변수 처럼 취급
     - 매 표본 마다 나오는 데이터를 출발점으로 삼음
        . 정보가 증가됨에 따라, 확률이 수정/정제됨


2. 베이즈 정리 유도

  ㅇ 아래의 `결합확률조건부확률의 관계식 `으로부터,
     -  P(A,B) = ` P(A|B) P(B) = P(B|A) P(A) `  
        . P(A,B) 또는 P(A∩B) : 결합확률
        . P(A|B) 또는 P(B|A)  : 조건부확률
        . 이를, 확률의 승법정리(Multiplication theorem of Probability)라고도 함

  ㅇ 아래와 같이 변형되어 유도됨 
     - ` P(A|B) = P(B|A) P(A) / P(B) `

  ※ 정리된 식 보다 그 해석이 더 중요함
     - P(A|B)) : (B가 관측됐을때 그 원인이 A일 조건부 확률
        = [ (P(B|A) : A 하에서 B의 발생 확률) x (P(A) : A 성립 확률) ] / (P(B) : B 성립 확률)

        . A      : 원인 또는 가정(Hypothesis)
        . B      : 관찰 또는 관측(Observation)
        . P(A|B) : A의 조건부확률 또는 B라는 특정값에 의한 사후 확률 (Posteriori)
           .. 사건 B가 일어났다는 것을 알고, 
           .. 그것이 원인 A로부터 일어난 것이라고 생각되는 조건부확률   
        . P(B|A) : A가 주어졌을 때의 조건부확률 (Likelihood,우도)
        . P(A)   : A의 사전확률 (Priori)
        . P(B)   : B의 사전확률 (Evidence)


3. 베이즈 정리 세부 설명사후확률(posteriori)은 사전확률(priori) 및 조건부확률(likelihood)로 구할 수 있음
     - 즉, 관찰 X를 살펴봄으로써 사전확률사후확률로 전환할 수 있음

       

     - X    : 관측 결과

     - Θj : 분류 범주 / 분류 영역 / 카테고리
        . 모수확률변수로 보고, 그것이 가질수있는 확률분포를 조사하려는/찾으려는 것

     - P[Θj] : 사전확률 (Priori Probability)
        . 실제 확률 실험 시행 전에 사건 발생에 대해 이미 가지고 있는 사전 지식

     - P[Θj|X] : 사후확률 (Posteriori Probability)
        . 관측 결과로부터 어떤 원인에 의해 출현한 것이라고 생각(추정)되는 조건부확률

     - P[X|Θj] : 조건부확률 (Likelihood,우도)
        . 나타난 결과 마다 다른 값을 갖는, 여러 가능한 가설들을 평가할 수 있는 조건부확률

     -  : 증거(Evidence), 전체 확률의 정리 임
        . P[X]는, 사후확률의 계산에는 필요한 값이나,
                  추론/결정/판정에 영향을 미치지 않는 정규화상수로 취급됨

  ㅇ 베이즈 정리 특징
     - 결과를 관측하고서 원인을 추론(추정)할 수 있게하는 정리


4. 베이즈 정리의 의의사후확률사전확률과의 관계를 밝힘
     - 주어진 조건부 확률 P(B|A)을 이용하여 다른 조건부 확률 P(A|B)을 구할 수 있음

  ㅇ 즉, 
     - 새로운 경험과 새로운 정보는 새로운 조건을 가져다주어, 
     - 정보가 증가함에 따라,
     - 확률이 수정/정제되는 과정이 설명됨


[확률(기초일반)]1. 확률  2. 전체 확률 법칙  3. 대수의 법칙  4. 중심극한의 정리  5. 베이즈 정리  6. 사전확률/사후확률  7. 자유도  8. 체비셰프 부등식  
  1.   기술공통
  2.   기초과학
        1. 과학
    1.   수학
      1.   기초수학
      2.   집합,논리
      3.   정수론(수론)
      4.   해석학(미적분 등)
      5.   대수학
      6.   확률/통계
        1.   확률(기초일반)
          1.   1. 확률
              2. 전체 확률 법칙
              3. 대수의 법칙
              4. 중심극한의 정리
              5. 베이즈 정리
              6. 사전확률/사후확률
              7. 자유도
              8. 체비셰프 부등식
        2.   확률공간
        3.   통계량
        4.   확률 모형,분포
        5.   확률 변수
        6.   확률 과정
        7.   통계학
      7.   수치해법
    2.   물리/화학
    3.   지구,천체 과학
    4.   생명과학
  3.   파동/광학/음향
  4.   방송/멀티미디어/정보이론
  5.   전자/전기/제어
  6.   통신/네트워킹
  7.   정보기술(IT)
  8.   기계/재료/공업일반
  9.   표준/계측/품질
  10.   기술경영

 
        최근수정     모바일웹     참고문헌