Entropy   엔트로피, 평균 정보량, 무질서도

(2020-04-12)
1. 엔트로피 이란?

  ㅇ [일반]
     - 무질서(Disorder) 또는 불확실성(Uncertainty)에 대한 량(값)

  ㅇ [통신이론/정보이론]
     - 정보원(Information Source)의 평균 정보량(평균적 불확실량)

  ㅇ [화학]
     - 열역학적 계에서 무질서의 척도 ☞ 엔트로피


2. 엔트로피의 정보공학적 관점정보공학에서 말하는 정보는 `정보의 의미/내용` 보다는 `정보의 양`을 중시함
  ㅇ 따라서, 평균 정보량/최대 정보량/정보 효율성과 같이 정보량측정이 중요한 관점 임
  ㅇ 여기서, 평균 정보량을 엔트로피라고 함


3. 엔트로피의 높고 낮음의 의미 

  ※ (정보/정보원이 갖는 확률적인 특성을, 아래와 같이 양적으로 보여줄 수 있음)

  ㅇ 엔트로피가 낮다 =>
     - 예측성이 있음.
     - 확정적인 정보가 많음.
     - 특정 심볼이 발생 확률이 높음.

  ㅇ 엔트로피가 높다 =>
     - 예측이 어려움.
     - 놀라운 정보가 많음. 
     - 각 심볼들의 발생 확률이 동일함/무작위성. 즉, 랜덤성이 높고, 중복성이 거의 없음.
     - 즉, 평균 정보량이 높음


4. 엔트로피의 정량화

  ㅇ 선택가능한 심볼 집합에서  `심볼평균 정보량(비트수)`
      
[# H(m) = \sum^{M}_{i=1} P_i I_i = \sum^{M}_{i=1} P_i \log \frac{1}{P_i} = - \sum^{M}_{i=1} P_i \log P_i #]
[bits] - (m : 메세지 심볼 집합, M : 심볼 개수, P : 발생 확률, I : 정보량) - 여기서, H(m) 표기는, m이 함수매개변수가 아니라, m 집합을 갖는 정보원의 엔트로피라는 뜻임 - 한편, 특정 매개변수에 집중한 H(p0) 같은 표기의 경우에는, 엔트로피 함수 라고 함 ㅇ 例) 동일 발생 확률(p=1/2)의 2개 사건(2진)을 갖는 정보원의 평균 정보량은, - H = p log₂1/p + (1-p) log₂1/(1-p) = 1/2 + 1/2 = 1 bit/symbol 5. 엔트로피의 상한/하한 값 ※ 0 ≤ H(m) ≤ log2 M ㅇ 엔트로피 하한값 (최소 조건) : H(m) = 0 - 모든 심볼 중 오직 하나 만이 발생확률이 1 이고, 나머지 심볼들의 발생확률이 0 일 때. - 불확실성이 없음을 의미 (심볼평균 정보량 없음) ㅇ 엔트로피 상한값 (최대 조건) : H(m) = log2 M - 소스 알파벳 내의 모든 심볼들이 동일한 발생확률을 갖을 때 (Pi=1/M) . 이 때의 엔트로피가 log2 M - 불확실성이 가장 높음을 의미 ((심볼평균 정보량 최대) 6. 정보원의 엔트로피 => 정보압축 한계 => 샤논 제1정리정보원이 갖는 확률적인 특성인 엔트로피로부터 다음과 같은 결론을 도출 함 - 어떤 부호화도 소스(정보원)가 갖는 엔트로피 보다 적은 정보량으로 압축할 수 없음 - 데이터로부터 불필요한 정보를 제거(압축)하는데의 한계치(즉,엔트로피)가 있음 ㅇ 부호화를 위한 최소 비트 수 (평균코드길이) - 소스 데이터에 있는 모든 정보를 표현하기 위한 필요 최소 비트 수 - 소스의 평균불확실성인 엔트로피 값에 의해 그 한계가 결정됨(의존함) ㅇ 따라서, 임의 소스의 정보 효율성(Efficiency)은, - 소스 정보 효율성 = ( 엔트로피 [bits] ) / ( 소스 부호화 비트수 [bits] ) x 100 % 7. 엔트로피의 극대화 ㅇ 만일, 정보원의 엔트로피(평균 정보량)가 채널용량 보다 작으면, - 그 채널을 통해 에러가 없는 통신이 가능함 ㅇ 통상, 채널용량 대비 얻을 수 있는 평균 정보량(엔트로피)이 가능한 최대가 될 수 있도록, - 그렇게 통신시스템설계하여야 함 8. 소스가 여러 개일 경우에(결합사건), 평균 정보량 ㅇ 각 소스가 통계적 독립이면 => H(A,B) = H(A) + H(B) - 즉, 전체 정보량은 각 소스의 정보량들의 총합과 같음 ㅇ 각 소스가 통계적 종속이면 => H(A,B) = H(A) + H(B|A) ㅇ 결국, H(A,B) ≤ H(A) + H(B) - (등식은 A,B가 서로 통계적으로 독립일때) 9. 소스에서 블록 단위로 구분 전송될 때의 엔트로피 ㅇ 길이 n의 블록인 경우에, H(mn) = n H(m) - 이를 확장된 소스(정보원)이라고 칭함


[정보량] 1. 정보량 2. 엔트로피 3. 용장도 4. 자기정보/상호정보/평균상호정보 5. 조건부,결합 엔트로피 6. 확률천이행렬

 
        최근수정     요약목록     참고문헌