Information Quantitation   정보량

1. 정보(량)

  ㅇ 정보는 일견 추상적이지만, 이에대해 공학적인 설명 및 응용이 가능하려면,
  ㅇ 반드시 측정이 가능한 물리량으로 표현하여야 한다. 즉, 정보량을 정의하여야 한다.


2. 정보의 정량화 (정보공학적 측면)

  ㅇ 정보의 가치는 당연한 사실일수록 낮을 것이며,
  ㅇ 예측이 가능하지 않을수록, 즉 불확실성(Uncertainty)이 높을수록 정보량이 많아짐
  ㅇ 정보가 예측가능한 것이라면 정보의 가치가 없게됨

  ※ 결국, 발생 확률이 작을수록 정보의 가치가 높음
     - 따라서, 정보량은 발생 확률의 반비례적인 함수이어야 됨


3. 정보량의 정의 및 단위

  ㅇ 정보량 정의 式  
     -  I(E) = log₂1/P(E) = - log₂P(E)   [bit]
        . 발생 확률의 대수를 취하여 이에 (-) 부호를 붙인 것으로 정의함
          

  ㅇ 정보량 단위 : 주로, bit(비트)로 표현
     -  log 의 밑이  2 이면,  단위는 bit(비트) (실제적으로 많이 쓰이는 단위)
     -  log 의 밑이  e 이면,  단위는 nat (natural unit)
     -  발생 확률이 1/10 이면,  1 hartley 
        .  例) 1 hartley = log₂(10) bit = ln (10) nat
           

4. 정보량의 의미/특징

  ㅇ P(Ei)=1일 때, I(Ei)=0
     - 사건이 일어나기 전에 그 결과를 확신(P=1)할 수 있으면, 정보는 없음

  ㅇ P(Ei) < P(Ek)일 때, I(Ei) > I(Ek)
     - 어떤 사건의 발생 확률이 낮을수록, 그 사건이 일어나면, 더 많은 정보가 얻어짐

  ㅇ 결합 사건 Ei,Ek가 통계적으로 독립이면, 각각의 정보량을 더하면됨
     - I(EiEk) = I(Ei) + I(Ek)

  ㅇ 1 비트 정보량
     - 발생 확률 P(Ei)=1/2일 때, 정보량 I(Ei)=1 비트이므로,
     - 1 비트 정보량은 2개의 사건이 동일 확률을 갖을 때 얻게되는 정보량임

  ㅇ 정보량은 항상 양수
     - 로그 함수는 항상 양수이므로

  ※ 例)
     - 사건 4개가 동일 발생 확률(P=1/4)이면, I = - log₂(1/4) = log₂4 = 2 bit
     - 통계적 독립인 결합 사건 2개의 정보량은, I = log₂(1/PA) + log₂(1/PB)


5. 기타참고용어

  ㅇ 평균적인 정보량  ☞  평균 정보량 (Entropy) 참조

  ㅇ 결합사건에서의 정보량   ☞  자기정보량, 상호정보량 참조