1. 샤논의 정리
ㅇ 샤논 제1정리 (Source Coding Theorem, 정보원 부호화 정리, 원천 부호화 정리)
- 무손실 압축의 하한을 제시
. `정보원 평균부호길이 L의 하한은 정보원 엔트로피 H가 됨`
. 즉, L ≥ H
. 결국, 평균코드길이를 얼마까지 줄일 수 있을까하는 소스부호화 문제 임
ㅇ 샤논 제2정리 (Channel Coding Theorem, 채널 부호화 정리)
- 어떤 한계(용량) 내에 오류확률을 줄일 수 있는 부호화 및 변조 기법이 반드시 존재함을 알려줌
. 즉, R < C (R : 정보 전송률, C : 채널용량)
.. 오류없이 메세지를 전송할 수 있는 (신뢰적 통신을 위한),
.. `전송률의 한계` 및 그에 걸맞는 `채널 부호화`가 반드시 존재함을 보여줌
. 결국, 좋은 코드,변조의 존재 만을 알려줄 뿐, 그 코드,변조를 찾는 방법은 알려주지 않음
ㅇ 샤논 제3정리 (Information Capacity Theorem)
- 주어진 채널을 통해 신뢰성 있게 전달할 수 있는 최대 정보량
. C = W log₂(1 + S/N)
.. 정보 전송률의 한계를 3개의 파라미터들로 정의함
.. 즉, (W : 가용 대역폭, S : 수신 신호 전력, N : 잡음 전력)
2. 샤논 정리의 의의
ㅇ 샤논의 정리는 정보이론(Information Theory)의 기초가 됨
- 즉, 최적의 통신시스템 설계에 대한 이론적 근거를 제시
ㅇ `정보의 측정(정보량)` 및 `전송 제약/한계(채널용량)`에 대한 이론 제시
ㅇ `정보 이론`,`코딩 이론`이라는 학문분야의 시초가 됨
3. [참고사항]
ㅇ 클로드 샤논 (Claude Shannon, 1916~2001)
- 정보 이론의 창시자로, 현대 전자통신 및 컴퓨터 과학의 발전에 지대한 영향을 끼친 인물
. 석사 논문 (1937) : 부울대수와 스위칭 회로의 대응 관계를 밝힘
.. 부울대수를 이용, 디지털 회로를 논리적,수학적으로 분석하는 방법 제시
. 정보 이론의 창시 : 정보량, 엔트로피, 채널용량 등의 개념 제시
.. "A Mathematical Theory of Communication" (1948)
. 현대 암호학의 기초 마련 : 암호학에서 "완전한 비밀성 (Perfect Secrecy)" 개념 정립
.. "Communication Theory of Secrecy Systems" (1949)