Bayes' Theorem, Bayes' Rule   베이즈 정리, 베이즈의 정리, 베이즈 규칙

(2020-03-10)

베이지안 정리, 베이시안 정리

1. 베이즈 정리의 유도   ☞ 베이즈 통계 참조상호종속인 두 사건에 대한 결합확률은,
     - 주어진 사건의 확률과 다른 사건의 조건부확률의 곱으로 주어짐
        . 즉,  P(A∩B) = P(A|B) P(B) 또는 P(A∩B) = P(B|A) P(A)
           ..  P(A,B) 또는 P(A∩B) : 결합확률
           ..  P(A|B) 또는 P(B|A)  : 조건부확률
        . 이를, 확률의 승법정리(Multiplication theorem of Probability)라고도 함

  ㅇ 이때,  P(A∩B) = ` P(A|B) P(B) = P(B|A) P(A) ` 
     - 즉, 두 사건의 결합확률에서 우변의 동등성으로부터 다음과 같이 변형시키면,
     - 베이즈 정리가 유도됨
        .  P(A|B) = P(B|A) P(A) / P(B)

     * 즉, 2개의 승법정리로부터 하나의 조건부확률 식이 유도됨


2. 사실상 `베이즈 정리는`, 유도되어 정리된 식 보다 `그 해석이 더 중요함`

  ㅇ  P(A|B) = P(B|A) P(A) / P(B)

  ㅇ 위 식에서, 각 항목별 의미/해석
     -  A  : 원인 또는 가정(Hypothesis)
     -  B  : 관찰 또는 관측(Observation)

     -  P(A)  : A의 사전확률 (Priori)
        . A의 성립/발생 확률
     -  P(B)  : B의 사전확률 (Evidence)
        . B의 성립/발생 확률

     -  P(A|B) : B가 관측됐을때 그 원인이 A일 조건부 확률 (사후 확률)
        . A의 조건부확률 또는 B라는 특정값에 의한 사후 확률 (Posteriori)
           .. 사건 B가 일어났다는 것을 알고, 
           .. 그것이 원인 A로부터 일어난 것이라고 생각되는 조건부확률
     -  P(B|A) : A가 주어졌을 때의 조건부확률 (Likelihood,우도)
        . A 하에서 B의 발생 확률

  ㅇ 의미
     - 사후확률사전확률과의 관계를 밝힘
        . 사후확률 P(A|B) 은, 사전확률 P(A),P(B) 및 조건부확률 P(B|A)로부터 구할 수 있음
     - 또는, 
        . 주어진 조건부 확률 P(B|A) 또는 우도를 이용, 다른 조건부 확률 P(A|B)을 구할 수 있음


3. 베이즈 정리로부터, 사후확률의 계산

  ㅇ (관측 결과를 살펴봄으로써,) 사전확률사후확률로 전환할 수 있음 => 베이즈 갱신
       사후확률 계산식
       

     - X    : 관측 결과
     - Θj : 분류 범주 / 분류 영역 / 카테고리
        . 즉, 모수를 미지의 확률변수로 보고, 이것의 확률분포를 찾으려는 것 임
     - P[Θj] : 사전확률 (Priori Probability)
        . 사건 발생 전에 이미 가지고 있는 사전 지식
     - P[Θj|X] : 사후확률 (Posteriori Probability)
        . 관측 결과로부터 어떤 원인에 의해 출현한 것이라고 생각(추정)되는 조건부확률
     - P[X|Θj] : 조건부확률 (Likelihood, 우도)
        . 나타난 결과 마다 다른 값을 갖는, 여러 가능한 가설들을 평가할 수 있는 척도임
     -  : 증거(Evidence)  <= 전체 확률의 정리 임
        . P[X]는, 사후확률의 정확한 계산에는 필요한 값이나,
        . 추론/결정/판정에 영향을 미치지 않으므로, 
        . 정규화상수로 취급하거나 무시함


[베이즈 통계학] 1. 베이즈 통계 2. 베이즈 정리 3. 사전확률/사후확률 4. 조건부 확률 5. 우도

 
        최근수정     요약목록     참고문헌