Self Information, Mutual Information, Average Mutual Information   자기 정보, 상호 정보, 평균 상호정보

1. 자기 정보 (Self-information)

  ㅇ 다른 사건과는 관련없이 순전히 단일 사건 만의 발생 확률 P(xi)에 근거한 정보량
       
[# I(x_i) = \log_2 \frac{1}{P(x_i)} #]


2. 조건부 자기 정보 (Conditional Self Information)

  ㅇ 사건 yj가 주어졌다는 가정하에,
     사건 xj가 발생되는 조건부 확률에 근거한 자기 정보량
       
[# I(x_i|y_j) = \log_2 \frac{1}{P(x_i|y_j)} = - \log_2 P(x_i|y_j) #]


2. 상호 정보 (Mutual Information)

  ㅇ 사건 정보들 간에 서로 관계짓는 결합에 근거한 정보량
       
[# I(x_i;y_j) = \log_2 \frac{P(x_i|y_j)}{P(x_i)} = \log_2 \frac{P(y_j|x_i)}{P(y_j)}
                     = I(y_j;x_i) \\
          \qquad \frac{P(x_i|y_j)}{P(x_i)} = \frac{P(x_i|y_j)P(y_j)}{P(x_i)P(y_j)} 
                     = \frac{P(x_i,y_j)}{P(x_i)P(y_j)} = \frac{P(y_j|x_i)}{P(y_j)} #]
     - I(xi;yj)
        . 사건 yj를 관찰하고 나서,
           .. 이를 토대로, 사건 xi (i=1,2,...,n)에 대해 제공하는 (알게되는) 정보량
        . 사건 yj의 발생 사실을 알고 나서, 
           .. 사건 xi에 대한 불확실성이 감소되는 정도
        . 송수신 간에 전달되는 정보량

  ㅇ 상호 정보량의 성질
     - 사건들이 통계적 독립이면  즉, P(xi|yj) = P(xi) 일 때
        . I(xi;yj) = 0   ⇒   상호정보는 없음
           .. (정보가 하나도 전달되지 않음, 둘 간에 연관성 전혀 없음)

     - 사건들이 완전히 종속적이면  즉, P(xi|yj) = 1 일 때
        . I(xi;yj) = I(xi)   ⇒   상호정보 = 자기정보
           .. (완전한 정보 전달, 이상적인 무잡음 전송)


4. 상호 정보, 자기 정보, 조건부 정보 간의 관계

     
[# I(x_i;y_j) = \log_2 \frac{P(x_i|y_j)}{P(x_i)} \\
        \qquad\qquad = \log_2 \frac{1}{P(x_i)} - \log_2 \frac{1}{P(x_i|y_j)} \\
        \qquad\qquad = I(x_i) - I(x_i|y_j) #]


5. 평균 상호정보 (Average Mutual Information) = 시스템 상호정보

  ※ 위 1,2,3항과는 달리, 
     - 두 사건을 각각 개별적으로 연결짓지 않고, 
     - 두 사건 집합을 평균적 관점에서 바라다 보면,
     - 즉, 

  ㅇ 평균상호정보의 의미
     - 정보채널을 통해 전송된 평균정보량 
     - 수신측이 채널을 통해 획득 가능한 정보량
     - 수신된 심볼 당 송신원 정보의 평균 량

  ㅇ 평균상호정보의 정의
       
[# I(X;Y) = E_{x,y} \left[ \log_2 \frac{P(x_i|y_j}{P(x_i)} \right] \\
      \qquad\qquad = \sum_{x,y} P(x_i,y_j)I(x_i;y_j) \\
      \qquad\qquad = \sum_{x,y} P(x_i,y_j) \log_2 \frac{P(x_i|y_j)}{P(x_i)} #]

  ㅇ 평균상호정보의 특징
     - 양수성 :    I(X;Y) ≥ 0

     - 교환성 :    I(X;Y) = I(Y;X)

     - 결합성 :   

  ㅇ 평균상호정보 및 엔트로피 간의 관계
     -  I(X;Y) = H(X) - H(X|Y)


6. 채널을 통한 상호 정보량의 해석

  ㅇ 의미
     - 채널을 통해 전송된 정보량으로, 채널에 대한 정보공학적 특성을 나타냄
     - 2가지 정보량의 차이
       . 사전 확률에 의한 정보량(전송하기전 원래 갖고있던 정보량)
       . 사후 확률에 의한 정보량(수신된 심볼을 조건으로하여 송신심볼에 기대되는 정보량)

  ㅇ 종류
     - 전향조건 상호정보
        . 전향 조건확률에 의한 평균
     - 후향조건 상호정보
        . 후향 조건확률에 의한 평균
     - 시스템 상호정보
        . 정보채널을 통해 전송된 평균정보량