DMC, DMS   Discrete Memoryless Channel, Discrete Memoryless Source   이산 무기억 채널, 이산 무기억 정보원

1. 이산 무기억 이란?

  ㅇ 메모리(기억성) 요소가 없는 (memoryless), 이산적 (discrete)인 채널 또는 소스에 대한 모델화

     - ①  이산적 : 심볼 알파벳이 정해진(제한된) 크기(종류) 만을 갖음
        .  신호 집합(소스알파벳,출력알파벳)이 이산적인 알파벳 집합을 갖음

     - ②  무기억성 : 채널 또는 소스 내부에 메모리 요소가 없음 
        .  현재 심볼이 이전 심볼들과는 서로 독립적임

     - ③  통계적 독립성 : 신호 심볼 상호 간에 통계적 독립
        .  모든 신호가 독립적으로 생성되고 동일한 분포를 갖음         ☞ iid (독립항등분포) 참조

  ※ 한편 반대로, 메모리(기억성) 요소가 있는 경우의 例
     - 마르코프 프로세스(Markov), 순서논리회로 등


2. 소스 관점  :  이산 무기억 소스 (DMS)의 특징

  ㅇ 소스 심볼 당 평균 비트 수  =  소스의 엔트로피 [bit]
      
[# H(X) = - \sum^L_{j=1} P(x_i) \log_2 P(x_i) = \sum^L_{j=1} P(x_i) \log_2 \frac{1}{P(x_i)}
                  \leq \log_2 L #]
     - 유한 심볼 : {#x_i, \; i = 1,2,\cdots,L#}
     - 심볼 발생 확률 : {#P(x_i), \; i = 1,2,\cdots,L #}
     - 엔트로피 : H(X)
        . 유한 심볼들에 대한 확률적 가중 평균을 비트 수로 나타낸 것
     - 위 식 오른쪽의 등호는, 심볼들이 모두 등 확률일 경우에 해당

  ㅇ 소스 심볼 발생율 (소스율)  =  (소스의 엔트로피 H(X)) / t [bit/sec]


3. 채널 관점  :  이산 무기억 채널 (DMC)의 특징

  ㅇ `채널 천이 확률`에 의해 채널을 완벽하게 묘사 가능
     - 입력 확률 xi에 대한 각 출력 확률 yj과 연관시킨
     - 조건부확률(채널천이확률) pij의 집합으로 나타낼 수 있음

  ㅇ 2-입력, 3-출력 채널모델에 대한 묘사 例)
       

     - 위 그림에서 각각의 가능한 `입력 대 출력 경로`는,
        . `조건부확률 pij=p(yj|xi)`로 나타낼 수 있음
        . 이 때의 `조건부확률`을 `채널천이확률`이라고 함