Self Information, Mutual Information, Average Mutual Information   자기 정보, 상호 정보, 평균 상호정보

(2018-03-28)
Top > [기술공통]
[기초과학]
[진동/파동]
[방송/멀티미디어/정보이론]
[전기전자공학]
[통신/네트워킹]
[정보기술(IT)]
[공업일반(기계,재료등)]
[표준/계측/품질]
[기술경영]
방송/멀티미디어/정보이론 > [비디오]
[오디오]
[멀티미디어]
[방송]
[디스플레이]
[조명]
[정보이론/코딩]
정보이론/코딩 > [정보이론]
[코드이론]
[부호화]
[소스부호화]
[채널부호화]
정보이론 >   1. 정보이론 이란?
[정보량]
[샤논의 정리]
정보량  1. 정보량
  2. 엔트로피
  3. 용장도
  4. 자기정보/상호정보/평균상호정보
  5. 조건부,결합 엔트로피
  6. 확률천이행렬

1. 자기 정보 (Self-information)

  ㅇ 다른 사건과는 관련없이 순전히 단일 사건 만의 발생 확률에 근거한 정보량
     


2. 조건부 자기 정보 (Conditional Self Information)

  ㅇ 사건 yj가 주어진 가정하에,
     사건 xj가 발생되는 조건부 확률에 근거한 자기 정보량
     


3. 상호 정보 (Mutual Information)

  ㅇ 사건 정보들 간에 서로 관계짓는 성질(결합)에 근거한 정보량
     
     - 사건 yj를 관찰하고, 이 때문에 사건 xi (i=1,2,...,n)에 대해 제공하는 정보량
        . 사건 yj의 발생사실을 알고나서 사건 xi에 대한 불확실성의 감소

  ㅇ 상호 정보량의 의미
     - 사건들이 통계적 독립이면  즉, P(xi|yj) = P(xi) 일 때
        . I(xi;yj) = 0 ⇒ 상호정보는 없다 
           .. (정보가 하나도 전달되지 않음, 연관성 없음)

     - 사건들이 완전히 종속적이면  즉, P(xi|yj) = 1 일 때
        . I(xi;yj) = I(xi) ⇒ 상호정보 = 자기정보
           .. (완전한 정보 전달, 이상적인 무잡음 전송)


4. 상호 정보와 자기 정보와의 관계

     


5. 평균 상호정보 (Average Mutual Information) = 시스템 상호정보

  ※ 위 1,2,3항과는 달리, 각 사건을 개별적으로 보지 않고, 사건 집합 전체를 평균적 관점
     에서 바라다 보면,
     - 즉, 평균상호정보 정의
     평균상호정보 의미
     - 정보채널을 통해 전송평균정보량 
     - 수신측이 채널을 통해 획득 가능한 정보량
     - 수신된 심볼 당 송신원 정보의 평균 량

  ㅇ 평균상호정보 특징
     - 양수성 :    I(X;Y) ≥ 0

     - 교환성 :    I(X;Y) = I(Y;X)

     - 결합성 :   평균상호정보 및 엔트로피 
     -  I(X;Y) = H(X) - H(X|Y)


6. 채널을 통한 상호 정보량의 해석

  ㅇ 의미
     - 채널을 통해 전송정보량으로, 채널에 대한 정보공학적 특성을 나타냄
     - 2가지 정보량의 차이
       . 선험적 확률(사전 확률)에 의한 정보량(전송하기전 원래 갖고있던 정보량) 및
         후험적 확률(사후 확률)에 의한 정보량(수신된 심볼을 조건으로하여 송신심볼에
         기대되는 정보량)의 차이

  ㅇ 종류
     - 전향조건 상호정보
        . 전향 조건확률에 의한 평균
     - 후향조건 상호정보
        . 후향 조건확률에 의한 평균
     - 시스템 상호정보
        . 정보채널을 통해 전송평균정보량


[정보량] 1. 정보량 2. 엔트로피 3. 용장도 4. 자기정보/상호정보/평균상호정보 5. 조건부,결합 엔트로피 6. 확률천이행렬
  1.   기술공통
  2.   기초과학
  3.   진동/파동
  4.   방송/멀티미디어/정보이론
    1.   비디오
    2.   오디오
    3.   멀티미디어
    4.   방송
    5.   디스플레이
    6.   조명
    7.   정보이론/코딩
      1.   정보이론
              1. 정보이론 이란?
        1.   정보량
          1.     1. 정보량
                2. 엔트로피
                3. 용장도
                4. 자기정보/상호정보/평균상호정보
                5. 조건부,결합 엔트로피
                6. 확률천이행렬
        2.   샤논의 정리
      2.   코드이론
      3.   부호화
      4.   소스부호화
      5.   채널부호화
  5.   전기전자공학
  6.   통신/네트워킹
  7.   정보기술(IT)
  8.   공업일반(기계,재료등)
  9.   표준/계측/품질
  10.   기술경영

    요약목록
Copyrightⓒ written by 차재복 (Cha Jae Bok)