Bayes' Theorem, Bayes' Rule   베이즈 정리, 베이즈의 정리, 베이즈 규칙

1. 베이즈 정리의 유도   ☞ 베이즈 통계 참조

  ㅇ 상호종속인 두 사건에 대한 결합확률은,
     - 주어진 사건의 확률과 다른 사건의 조건부확률의 곱으로 주어짐
        . 즉,  P(A∩B) = P(A|B) P(B)  또는  P(A∩B) = P(B|A) P(A)
           ..  P(A,B) 또는 P(A∩B) : 결합확률
           ..  P(A|B) 또는 P(B|A)  : 조건부확률
        . 이를, 확률의 승법정리 (Multiplication theorem of Probability) 라고도 함

  ㅇ 이때,  P(A∩B) = ` P(A|B) P(B) = P(B|A) P(A) ` 
     - 즉, 두 사건의 결합확률에서, 우변의 동등성으로부터,

  ㅇ 다음과 같이 변형시키면, 베이즈 정리가 유도됨
     -  P(A|B) = P(B|A) P(A) / P(B)

  ※ 즉, 2개의 승법정리(곱 표현식)으로부터 하나의 조건부확률 식이 유도됨


2. 사실상 `베이즈 정리는`, 유도되어 정리된 식 보다, `그 해석이 더 중요함`

  ㅇ  P(A|B) = P(B|A) P(A) / P(B)

  ㅇ 위 식에서, 각 항목별 의미/해석
     -  A  :  원인 또는 가정(Hypothesis)
     -  B  :  관찰 또는 관측(Observation)

     -  P(A)  :  A의 사전확률 (Priori)
        . A의 성립/발생 확률
     -  P(B)  :  B의 사전확률 (Evidence)
        . B의 성립/발생 확률

     -  P(A|B) :  B가 관측됐을때 그 원인이 A일 조건부 확률 (사후 확률)
        . `A의 조건부확률` 또는 `B라는 특정값에 의한 사후 확률 (Posteriori)`
           .. 사건 B가 일어났다는 것을 알고, 
           .. 그것이 원인 A로부터 일어난 것이라고 생각되는 조건부확률
     -  P(B|A) :  A가 주어졌을 때 B가 발생할 조건부확률 (Likelihood,우도)
        . A 하에서 B의 발생 확률

  ㅇ 의미
     - 사후확률과 사전확률과의 관계를 밝힘
        . 사후확률 P(A|B) 은, 사전확률 P(A),P(B) 및 조건부확률 P(B|A)로부터 구할 수 있음
     - 또는, 
        . 주어진 조건부 확률 P(B|A) 또는 우도를 이용, 다른 조건부 확률 P(A|B)을 구할 수 있음
           .. 즉, A가 주어질 때 A의 조건부 확률을, B가 주어질 때 B의 조건부 확률로 나타냄


3. 베이즈 정리로부터, 사후확률의 계산

  ㅇ (관측 결과를 살펴봄으로써,) 사전확률을 사후확률로 전환할 수 있음 => 베이즈 갱신
       

  ㅇ 사후확률 계산식
       

     - X    :  관측 결과
     - Θj :  분류 범주 / 분류 영역 / 카테고리
        . 즉, 모수를 미지의 확률변수로 보고, 이것의 확률분포를 찾으려는 것 임
     - P[Θj] :  사전확률 (Priori Probability)
        . 사건 발생 전에 이미 가지고 있는 사전 지식
     - P[Θj|X] :  사후확률 (Posteriori Probability)
        . 관측 결과로부터 어떤 원인에 의해 출현한 것이라고 생각(추정)되는 조건부확률
     - P[X|Θj] :  조건부확률 (Likelihood, 우도)
        . 나타난 결과 마다 다른 값을 갖는, 여러 가능한 가설들을 평가할 수 있는 척도임
     -  :  증거(Evidence)  <= 전체 확률의 정리 임
        . P[X]는, 사후확률의 정확한 계산에는 필요한 값이나,
        . 추론/결정/판정에 영향을 미치지 않으므로, 
        . 정규화된 상수로 취급하거나 무시함