1. 코드 길이 (Code Length)
ㅇ 코드어를 표현하는데 필요한 수열(시퀸스)의 길이
- 즉, x = ( x1, x2, ..., xj )에서 길이 j를 말함
. (x : 코드벡터/코드어/부호어, xi : 코드알파벳, j : 코드길이)
2. 평균 코드 길이 (Average Code Length)
ㅇ 코드 길이가 가변인 어떤 코드에서 모든 코드어들의 평균 길이
[# L_{avarage} = \sum^q_{i=1} \, p_i \, l_i #]
- q : 심볼의 개수
- pi : 각 심볼의 발생 확률
- li : 각 심볼의 코드 길이
3. 코드길이의 하한
ㅇ 엔트로피는 평균코드길이에 대해 줄일 수 있는 이론적인 하한값을 제공
ㅇ 즉, (구현된 평균코드길이 L) > (정보원의 엔트로피 H)
- 평균코드길이 : 구현된 코드체계에 따른 코드의 평균적인 길이
- 엔트로피 : 시스템(정보원)이 갖는 근본적인 최소 정보의 양
※ 이를두고, 샤논의 제1정리 (원천 부호화 정리) 라고 함 ☞ 샤논 정리 참조
4. 컴팩트 코드 (Compact Code)
ㅇ 현실적으로 구할 수 있는 가장 짧은 평균코드길이를 갖는 부호를 일컬음
- 例) 호프만 부호 등