Code Length, Codeword Length   코드 길이, 부호 길이, 부호어 길이, 샤논 제1정리

(2023-08-24)

Average Code Length, 평균 코드 길이, 평균 부호 길이, Compact Code, 컴팩트 부호, 컴팩트 코드


1. 코드 길이 (Code Length)코드어를 표현하는데 필요한 수열(시퀸스)의 길이
     - 즉,  x = ( x1, x2, ..., xj )에서 길이 j를 말함
        . (x : 코드벡터/코드어/부호어, xi : 코드알파벳, j : 코드길이)


2. 평균 코드 길이 (Average Code Length)코드 길이가 가변인 어떤 코드에서 모든 코드어들의 평균 길이
      
[# L_{avarage} = \sum^q_{i=1} \, p_i \, l_i #]
- pi: 각 심볼의 발생 확률 - li: 각 심볼코드 길이 - q: 심볼의 개수 3. 코드길이의 하한 (샤논의 제1정리 ☞ 샤논 정리 참조) 엔트로피평균코드길이에 대해 줄일 수 있는 이론적인 하한값을 제공 ㅇ 즉, (구현된 평균코드길이 L) > (정보원의 엔트로피 H) - 평균코드길이 : 구현된 코드체계에 따른 코드의 평균적인 길이 - 엔트로피 : 시스템(정보원)이 갖는 근본적인 최소 정보의 양 4. 컴팩트 코드 (Compact Code) ㅇ 현실적으로 구할 수 있는 가장 짧은 평균코드길이를 갖는 부호를 일컬음 - 例) 호프만 부호



Copyrightⓒ written by 차재복 (Cha Jae Bok)
"본 웹사이트 내 모든 저작물은 원출처를 밝히는 한 자유롭게 사용(상업화포함) 가능합니다"