Information Quantitation   정보량

1. 정보(량)

  ㅇ 정보는, 일견 추상적이지만, 
     - 이에대해 공학적인 설명 및 응용이 가능하려면,
     - 반드시, 측정이 가능한 (즉, 셀 수 있는) 물리량으로써,
     - 즉, 정보의 량(量)을 정의하여야 함  ☞ 아래 2.항 참조

  ㅇ 한편, 정보 내용의 표현은, ☞ 데이터 표현 참조


2. 정보의 정량화 (정보이론적 측면)

  ㅇ 정보의 가치는 당연한 사실일수록 낮을 것이며,
  ㅇ 예측이 가능하지 않을수록, 즉 `불확실성(Uncertainty)`이 높을수록 정보량이 많아짐
  ㅇ 정보가 예측가능한 것이라면 정보의 가치가 없게됨

  ※ 결국, 발생 확률이 작을수록 정보의 가치가 높음
     - 따라서, 정보량은 발생 확률의 반비례적인 함수이어야 됨


3. 정보량의 정의 및 단위

  ㅇ 정보량 정의 式  
     -  I(E) = log₂1/P(E) = - log₂P(E)   [bit]
        . 발생 확률의 대수를 취하여 이에 (-) 부호를 붙인 것으로 정의함
          

  ㅇ 정보량 단위 : 주로, bit(비트)로 표현
     -  log 의 밑이  2 이면,  단위는 bit(비트) (실제적으로 많이 쓰이는 단위)
     -  log 의 밑이  e 이면,  단위는 nat (natural unit)
     -  발생 확률이 1/10 이면,  1 hartley 
        .  例) 1 hartley = log₂(10) bit = ln (10) nat
           

4. 정보량의 의미/특징

  ㅇ P(Ei)=1일 때, I(Ei)=0
     - 사건이 일어나기 전에 그 결과를 확신(P=1)할 수 있으면, 정보는 없음

  ㅇ P(Ei) < P(Ek)일 때, I(Ei) > I(Ek)
     - 어떤 사건의 발생 확률이 낮을수록, 그 사건이 일어나면, 더 많은 정보가 얻어짐

  ㅇ 결합 사건 Ei,Ek가 통계적으로 독립이면, 각각의 정보량을 더하면됨
     - I(EiEk) = I(Ei) + I(Ek)

  ㅇ 1 비트 정보량 = 2개 사건이 동일 확률일 때의 정보량
     - 발생 확률 P(Ei)=1/2일 때, 정보량 I(Ei)=1 비트이므로,
     - 1 비트 정보량은, 2개의 사건이 동일 확률을 갖을 때 얻게되는 정보량임

  ㅇ 정보량은 항상 양수
     - 로그 함수는 항상 양수이므로

  ※ 例)
     - `사건 4개`가 동일 발생 확률(P=1/4)이면, I(Ei) = - log₂(1/4) = log₂4 = 2 bit
     - `통계적 독립인 결합 사건 2개`의 정보량은, I(EiEk) = log₂(1/Pi) + log₂(1/Pk)


5. [참고사항]

  ㅇ 결합사건에서의 정보량   ☞  자기정보량, 상호정보량 참조

  ㅇ 평균적인 정보량   ☞  평균 정보량 (Entropy) 참조
     - 평균 자기정보량 (Entropy) 
     - 평균 상호정보량
     * 엔트로피 (Entropy) 이란?  정보원이 갖는 심볼 당 평균 정보량

  ㅇ 정보의 전송 속도  ☞  전송률(비트율) 참조