1. 정보(량)
ㅇ 정보는, 일견 추상적이지만,
- 이에대해 공학적인 설명 및 응용이 가능하려면,
- 반드시, 측정이 가능한 (즉, 셀 수 있는) 물리량으로써,
- 즉, 정보의 량(量)을 정의하여야 함 ☞ 아래 2.항 참조
ㅇ 한편, 정보 내용의 표현은, ☞ 데이터 표현 참조
2. 정보의 정량화 (정보이론적 측면)
ㅇ 정보의 가치는 당연한 사실일수록 낮을 것이며,
ㅇ 예측이 가능하지 않을수록, 즉 `불확실성(Uncertainty)`이 높을수록 정보량이 많아짐
ㅇ 정보가 예측가능한 것이라면 정보의 가치가 없게됨
※ 결국, 발생 확률이 작을수록 정보의 가치가 높음
- 따라서, 정보량은 발생 확률의 반비례적인 함수이어야 됨
3. 정보량의 정의 및 단위
ㅇ 정보량 정의 式
- I(E) = log₂1/P(E) = - log₂P(E) [bit]
. 발생 확률의 대수를 취하여 이에 (-) 부호를 붙인 것으로 정의함
ㅇ 정보량 단위 : 주로, bit(비트)로 표현
- log 의 밑이 2 이면, 단위는 bit(비트) (실제적으로 많이 쓰이는 단위)
- log 의 밑이 e 이면, 단위는 nat (natural unit)
- 발생 확률이 1/10 이면, 1 hartley
. 例) 1 hartley = log₂(10) bit = ln (10) nat
4. 정보량의 의미/특징
ㅇ P(Ei)=1일 때, I(Ei)=0
- 사건이 일어나기 전에 그 결과를 확신(P=1)할 수 있으면, 정보는 없음
ㅇ P(Ei) < P(Ek)일 때, I(Ei) > I(Ek)
- 어떤 사건의 발생 확률이 낮을수록, 그 사건이 일어나면, 더 많은 정보가 얻어짐
ㅇ 결합 사건 Ei,Ek가 통계적으로 독립이면, 각각의 정보량을 더하면됨
- I(EiEk) = I(Ei) + I(Ek)
ㅇ 1 비트 정보량 = 2개 사건이 동일 확률일 때의 정보량
- 발생 확률 P(Ei)=1/2일 때, 정보량 I(Ei)=1 비트이므로,
- 1 비트 정보량은, 2개의 사건이 동일 확률을 갖을 때 얻게되는 정보량임
ㅇ 정보량은 항상 양수
- 로그 함수는 항상 양수이므로
※ 例)
- `사건 4개`가 동일 발생 확률(P=1/4)이면, I(Ei) = - log₂(1/4) = log₂4 = 2 bit
- `통계적 독립인 결합 사건 2개`의 정보량은, I(EiEk) = log₂(1/Pi) + log₂(1/Pk)
5. [참고사항]
ㅇ 결합사건에서의 정보량 ☞ 자기정보량, 상호정보량 참조
ㅇ 평균적인 정보량 ☞ 평균 정보량 (Entropy) 참조
- 평균 자기정보량 (Entropy)
- 평균 상호정보량
* 엔트로피 (Entropy) 이란? 정보원이 갖는 심볼 당 평균 정보량
ㅇ 정보의 전송 속도 ☞ 전송률(비트율) 참조