Covariance Matrix   공분산 행렬

1. 공분산 행렬 (Covariance Matrix), 상관계수 행렬 (Correlation Coefficient Matrix) 이란?

  ㅇ 변량 쌍 간에 상관성(유사성)을 행렬로 표현한 것
     - 2 이상의 변량들로 이루어진 경우,
     - 각 변량 쌍 사이의 공분산 또는 상관계수(정규화된 공분산)들을,
     - 행렬 형태로 정리한 것

  ㅇ 다변량 확률변수의 벡터 형태인 확률 벡터의 분산 구조를 나타낸 행렬
     - 이 행렬 내 각 원소가 변량 간 공분산(주 대각선 이외) 및 분산(주 대각선)으로 구성됨


2. 공분산 행렬의 표기

  ㅇ 표기  :  {# \textit{Var}\;[\mathbf{x}] #}
       

  ㅇ 여기서, 
     - (주 대각선 이외)  
        . 공분산 : {# Cov[X,Y] = σ_{XY} = E[(X-μ_X)(Y-μ_Y)] = \sum_x \sum_y (x-μ_X)(y-μ_Y) p(x,y) #}
     - (주 대각선)  
        . 분산 : {# Cov[x_i,x_i] = Var[x_i] = σ_{ii} = σ_{i}^2 #}
     - 대칭행렬 임 : {# σ_{ij} = σ_{ji} #}


3. 공분산 행렬의 특징

  ㅇ 공분산 행렬은 대칭행렬 임 ({#σ_{ij}=σ_{ji}#})
     - 例) 3개 변량 있으면, 3 x 3 대칭행렬

  ㅇ 2 이상의 변수들이 서로 독립이라면, (각 변수는 서로 영향을 주지 않음)
     - 공분산 행렬은 대각행렬이 됨 ({#\sigma_{ij}=\sigma_{ji}=0#})

  ㅇ 요소 값이 나타내는 바는,
     - (i,j) 요소 값은, 두 변량 xi, xj 간에 구해진 공분산 값 임
     - (i,i) 요소 값은, 동일 변량 xi 자신의 분산 값인 Var[xi] 임 

  ㅇ 양의 정부호(positive definite)이어야 함


4. 공분산 행렬의 계산 및 해석 例)

  

  ㅇ x1,x2 간에는, 상관성 없음
     - σ12 : (0.000)
  ㅇ x1,x3 및 x2,x3 간에는, 같은 정도의 상관성 보임
     - σ13 : (0.167)
     - σ23 : (0.167)
  ㅇ x3은, x1,x2 보다 자체 데이터 분산이 작음
     - σ33 : (0.250)
     - σ11,σ22 : (0.333)