Self Information   자기 정보

1. 자기 정보 (Self-information)

  ㅇ 특정 사건 xi가 발생할 때, 그 사건이 제공하는 정보량      ☞ 정보량 참조
     — 즉, 그 사건이 얼마나 예기치 못한지를 수량화한 값
       
[# I(x_i) = \log_2 \frac{1}{P(x_i)} = -\log_2 P(x_i) #]

  ㅇ 의미
     - 발생 확률이 낮을수록, I(xi)가 커짐 → 더 "놀라운" 사건일수록 많은 정보 제공
     - 단일 사건에만 근거하며, 다른 사건과의 관계는 고려하지 않음


2. 조건부 자기 정보 (Conditional Self Information)

  ㅇ 다른 사건 yj가 이미 발생했다는 조건 하에서, 사건 xi가 발생했을 때의 정보량
       
[# I(x_i|y_j) = \log_2 \frac{1}{P(x_i|y_j)} = - \log_2 P(x_i|y_j) #]
     - {#P(x_i|y_j)#} : 조건부 확률 (어떤 좁혀진 조건 하에서 발생 확률)

  ㅇ 의미
     - yj에 대한 사전 지식을 반영한 상태에서, xi의 불확실성을 나타냄
        . 즉, yj의 정보를 통해, xi가 얼마나 예측 가능한지를 측정


3. 상호 정보 (Mutual Information)

  ㅇ 사건들 간에 서로 관계짓는 결합에 근거한 정보량
     - 두 사건 xi,yj 간의 정보적 연관성을 나타내는 값
       
[# I(x_i;y_j) = \log_2 \frac{P(x_i|y_j)}{P(x_i)} = \log_2 \frac{P(y_j|x_i)}{P(y_j)}
                     = I(y_j;x_i) \\
          \qquad \frac{P(x_i|y_j)}{P(x_i)} = \frac{P(x_i|y_j)P(y_j)}{P(x_i)P(y_j)} 
                     = \frac{P(x_i,y_j)}{P(x_i)P(y_j)} = \frac{P(y_j|x_i)}{P(y_j)} #]

  ㅇ 의미
     - 사건 yj를 알게 되었을 때, xi에 대한 불확실성이 얼마나 감소했는가를 표현
        . 사건 yj의 관찰 후에, 사건 xi (i=1,2,...,n)에 대해 제공하는 (알게되는) 정보량
     - 송수신 간에 전달되는 정보량
        . 즉, 송신측의 심볼 xi와 수신측의 심볼 yj 간에 전달된 정보량

  ㅇ 만일,
     - 사건들이 통계적 독립이면  즉, P(xi|yj) = P(xi) 일 때
        . I(xi;yj) = 0   ⇒   상호정보는 없음
           .. (두 사건 간 정보 전달 없음, 둘 간에 연관성 전혀 없음)
     - 사건들이 완전히 종속적이면  즉, P(xi|yj) = 1 일 때
        . I(xi;yj) = I(xi)   ⇒   상호정보 = 자기정보
           .. (완전한 정보 전달, 이상적인 무잡음 전송)


4. 상호 정보, 자기 정보, 조건부 정보 간의 관계

     
[# I(x_i;y_j) = \log_2 \frac{P(x_i|y_j)}{P(x_i)} \\
        \qquad\qquad = \log_2 \frac{1}{P(x_i)} - \log_2 \frac{1}{P(x_i|y_j)} \\
        \qquad\qquad = I(x_i) - I(x_i|y_j) #]
  ㅇ 의미
     - 상호 정보 I(xi;yj)는, 조건부 정보 I(xi|yj)를 고려했을 때, 
        . 자기 정보 I(xi)의 불확실성 감소량으로 해석 가능
        . 즉, yj가 제공한 만큼의 정보량을 나타냄