Shannon Theorem, Shannon Law   샤논 정리, 샤논 이론, 샤논 법칙

(2020-01-09)

셰논 정리

1. 샤논의 정리샤논 제1정리 (Source Coding Theorem, 정보원 부호화 정리)
     - 무손실 압축의 하한을 제시
        . `정보평균부호길이 L의 하한은 정보엔트로피 H가 됨`
        . 즉,  L ≥ H  
        . 결국, 평균코드길이를 얼마까지 줄일 수 있을까하는 소스부호화 문제 임

  ㅇ 샤논 제2정리 (Channel Coding Theorem, 채널 부호화 정리) 
     - 어떤 한계(용량) 내에 오류확률을 줄일 수 있는 부호화변조 기법이 반드시 존재함을 알려줌
        . 즉,  R < C  (R : 정보 전송률, C : 채널용량)
           .. 오류없이 메세지전송할 수 있는 (신뢰적 통신을 위한),
           .. `전송률의 한계` 및 그에 걸맞는 `채널 부호화`가 반드시 존재함을 보여줌
        . 결국, 좋은 코드,변조의 존재 만을 알려줄 뿐, 그 코드,변조를 찾는 방법은 알려주지 않음

  ㅇ 샤논 제3정리 (Information Capacity Theorem)
     - 주어진 채널을 통해 신뢰성 있게 전달할 수 있는 최대 정보량
        . C  =  W log₂(1 + S/N)
           .. 정보 전송률의 한계를 3개의 파라미터들로 정의함 
           .. 즉, (W : 가용 대역폭, S : 수신 신호 전력, N : 잡음 전력)


2. 샤논 정리 의의

  ㅇ 샤논의 정리는 정보이론(Information Theory)의 기초가 됨
     - 즉, 최적의 통신시스템 설계에 대한 이론적 근거를 제시

  ㅇ `정보측정(정보량)` 및 `전송 제약/한계(채널용량)`에 대한 이론 제시

  ㅇ `정보 이론`,`코딩 이론`이라는 학문분야의 시초가 됨


[샤논의 정리] 1. 샤논의 정리들 2. 샤논의 제1정리 3. 샤논의 제2정리 4. 샤논의 제3정리

 
        최근수정     요약목록     참고문헌