Conditional Entropy, Joint Entropy   조건부 엔트로피, 결합 엔트로피

1. 조건부 엔트로피, 결합 엔트로피

  ㅇ 조건부 엔트로피
     - 심볼이 전송될 때, 채널 잡음이 개입되어, 평균 정보량이 손실되는 정도

     - 하나의 심볼을 수신하였을 때, 전송된 심볼에 대한 평균적 불확실성
       
        . y가 수신된 것을 알았을 때, 송신 x에 대한 불확실성(평균정보량의 손실)

  ㅇ 결합 엔트로피
     - 동시에 함께 고려하는 경우의 평균 정보량
     

  ㅇ 조건부 엔트로피 및 결합 엔트로피 간의 관계