1. 최소 평균제곱오차(MMSE) 추정 이란?
ㅇ 미지의 변수에 대해 최적의 추정치를 얻기위해 사용되는 방법 중 하나
ㅇ `추정오차 최소화의 정량적 판단 기준`을 `평균제곱오차(MSE)의 최소화`로써 사용
- 이는 수학적으로 취급하기 쉽고 계산이 용이한 장점이 있음 ☞ 추정 정확성 척도 참조
ㅇ 즉, MMSE 추정 방법/규칙의 핵심은,
- MSE(평균제곱오차)를 최소화(Minimum)시키자는 것 임
※ 한편, 같은 개념의 `근사 또는 통계/회귀분석` 용어로, 최소자승법이 있음
2. MMSE 추정의 의미
ㅇ 추정오차 : {# e = \mathrm{X} - \widehat{\mathrm{X}} #}
ㅇ 평균제곱오차 : {# e_{MSE} = E[e^2]
= E \left[ (\mathrm{X} - \widehat{\mathrm{X}})^2 \right] #}
ㅇ 평균제곱오차(MSE)의 최소화 => (MMSE 추정)
- {#e_{MSE}#}의 최소화는, {#\hat{X}#}에 대한 미분이 0 이 되는, 극소점을 찾는 문제
. {# e_{MSE} = E[(X-\hat{X})^2] = E[X^2] - 2\hat{X}E[X] + \hat{X}^2 #}
. {# de_{MSE}/d\hat{X} = -2E[X] + 2\hat{X} = 0 #}
. {# \hat{X} = E[X] #}
ㅇ 결국, X에 대한 MMSE 추정은, 기대값 E[X]가 됨 : {#\hat{X}_{MMSE} = E[X]#}
3. 선형 평균제곱오차 최소화 (Linear Minimum MSE, LMMSE)
ㅇ 관측된 변수 Y로부터 X에 대해, 선형 평균제곱오차 최소화 (Linear Minimum MSE)에 의한 추정
- X와 Y의 선형 관계를 가정하여, MSE를 최소화하는 방법
. {#\hat{X}=aY+b#} 형태를 따르며, a,b를 계산하여, MSE를 최소화시킴
ㅇ (일반식 유도)
- {#e_{MSE} = E[(X-(aY+b))^2]#}를 전개한 후,
. a,b에 대한 편미분이 0이 되는 극소점(최소화)을 찾으면,
[# a = \frac{Cov(X,Y)}{Var(Y)}, \quad b = E[X]−aE[Y] #]
ㅇ (추정치 표현)
[# \hat{X}_{LMMSE} = E[X] + \frac{Cov(X,Y)}{Var(Y)}(Y-E[Y]) #]