1. 샤논의 정리
ㅇ 샤논 제1정리 (Source Coding Theorem, 정보원 부호화 정리, 원천 부호화 정리)
- 무손실 압축의 하한을 제시
. `정보원 평균부호길이 L의 하한은 정보원 엔트로피 H가 됨`
. 즉, L ≥ H
. 결국, 평균코드길이를 얼마까지 줄일 수 있을까하는 소스부호화 문제 임
ㅇ 샤논 제2정리 (Channel Coding Theorem, 채널 부호화 정리)
- 어떤 한계(용량) 내에 오류확률을 줄일 수 있는 부호화 및 변조 기법이 반드시 존재함을 알려줌
. 즉, R < C (R : 정보 전송률, C : 채널용량)
.. 오류없이 메세지를 전송할 수 있는 (신뢰적 통신을 위한),
.. `전송률의 한계` 및 그에 걸맞는 `채널 부호화`가 반드시 존재함을 보여줌
. 결국, 좋은 코드,변조의 존재 만을 알려줄 뿐, 그 코드,변조를 찾는 방법은 알려주지 않음
ㅇ 샤논 제3정리 (Information Capacity Theorem)
- 주어진 채널을 통해 신뢰성 있게 전달할 수 있는 최대 정보량
. C = W log₂(1 + S/N)
.. 정보 전송률의 한계를 3개의 파라미터들로 정의함
.. 즉, (W : 가용 대역폭, S : 수신 신호 전력, N : 잡음 전력)
2. 샤논 정리의 의의
ㅇ 샤논의 정리는 정보이론(Information Theory)의 기초가 됨
- 즉, 최적의 통신시스템 설계에 대한 이론적 근거를 제시
ㅇ `정보의 측정(정보량)` 및 `전송 제약/한계(채널용량)`에 대한 이론 제시
ㅇ `정보 이론`,`코딩 이론`이라는 학문분야의 시초가 됨