1. 추정 (Estimation) 이란?
ㅇ 직접 관측할 수 없는 파라미터(모수) 또는 값에 대해 관측가능한 값들을 통해 추정하는 것
ㅇ [통신] 채널 추정 (Channel Estimation)
- 이용가능한 데이터(관측값,샘플값)로부터, 알려지지 않은 어떤 특성값(모수)을 예측/추정 함
. 例) 잡음이 섞인 수신 신호에서 송신된 신호의 원래 특성(진폭,주파수,위상 등) 추정
ㅇ [수치해법] 보간법 (Interpolation), 근사 (Approximation)
- 주변의 이미 알려진 값들로부터, 보간 함수를 찾아, 이를 이용하여 미지값들을 추정
. 例) 구해진 측정값으로부터 미지의 인접 값을 구함
ㅇ [통계] 통계적 추정 (Statistical Estimation)
- 모집단의 확률적 특성(모수)을 알기 위해, 표본 데이터를 이용하여 추정
. 例) 모평균을 모르지만, 여러 표본에서 얻은 표본평균을 통해 추정
2. [통계] 추정량 (Estimate) 이란?
ㅇ 추정량 ☞ 추정량 (Estimate) 참조
- 모수를 추정하기 위해 사용되는(표본으로부터 취해지는/선택되는) 표본통계량
ㅇ 좋은 추정량 기준 ☞ 점 추정량 선택기준 참조
- 불편성, 충분성, 효율성, 유효성, 일치성 등으로 따져 봄
. 불편성 (Unbiasedness) : 추정량의 기댓값이 실제 모수와 일치함 (편향이 없음)
.. 불편의 추정량 (Unbiased Estimate) 例 : 표본 평균, 표본 분산, 표본 표준편차 등
. 효율성 (Efficiency) : 분산이 작아 추정값이 모수 주변에 밀집됨
. 일치성 (Consistency) : 표본 크기가 커질수록 추정량이 모수에 수렴함
ㅇ 추정의 정확성을 가늠하는 척도 (추정 오차의 크고작음의 평가 척도) ☞ 추정 정확성 척도 참조
- 평균제곱오차(MSE), 제곱근평균제곱오차(RMSE), 우도(Likelihood) 등
ㅇ 좋은 추정량을 구하는 법 ☞ 추정법 참조
- 미지의 모수에 대해 좋은 추정량/추정값을 구하는 일반적인 방법으로써,
. 例) 최소자승법, 적률법, 최대가능도법, 베이즈 추정법 등
3. [통계] 추정의 例
ㅇ 추정 과정 개요
- 모집단에서 표본을 뽑고, 표본을 바탕으로 한 통계량의 확률분포로부터, 모수를 추정하게 됨
. (확률 분포 : 모수를 포함한 수학 함수 형태)
ㅇ 例) 만일, 어떤 모집단의 확률적 분포가, 정규분포를 하고 있음을 알고 있다면,
* 이때, 모 평균,모 분산 등의 추정은, 다음과 같이,
. 표본의 특성과 모르는 정보의 종류에 따라, 달리 추정하게 됨
- 모 분산(모 표준편차)을 알고 있을 때, 모 평균의 추정
. 대 표본일 때의 모 평균의 추정 ☞ 표준정규분포 참조
.. 중심극한정리에 의해 표본평균이 정규분포에 근사되므로, 표준정규분포로써 모평균 추정
. 소 표본일 때의 모 평균의 추정 ☞ t 분포 참조
.. 대부분 t 분포는 모 분산을 모를 때 사용하는 것이 일반적
- 모 분산(모 표준편차)을 모를 때, 모 평균의 추정 ☞ t 분포 참조
. 모 분산을 모를때, 표본분산으로 대체하고, t 분포를 사용하여 모평균을 추정
- 모 평균을 알고 있을 때, 모 분산의 추정 ☞ 카이제곱 분포 참조
. 모 평균이 주어진 경우, 표본의 제곱편차 합을 사용하여 모분산을 추정
- 모 평균을 모를 때, 모 분산의 추정 ☞ 카이제곱 분포 참조
. 통상 현실에서 모평균도 모르는 경우가 대부분으로, 표본평균을 사용해 분산을 추정
4. [통계] 추정 용어 비교
※ ☞ 추정 용어 비교 참조
- 추정(Estimation), 가설검정(Hypothesis Test) 비교
- 점 추정(Point Estimation), 구간 추정(Interval Estimation) 비교
- 모수적(Parametric) 방법, 비모수적(Nonarametric) 방법 비교
- 추정(Estimation), 패턴 분류(Classification) 비교
- 정적인 추정(Static Estimation), 동적인 추정(Dynamic Estimation) 비교
- 추정(Estimation), 예측(Prediction) 비교
5. [통계] 추정법
※ ☞ 추정법 참조
* 추정법 : 모집단의 모수를 표본으로부터 추정하는 방법
- 최소제곱법 (LSM) : 오차 제곱합을 최소화하여 모수를 추정하는 방법
- 적률법 (MME) : 표본 적률과 모 적률을 일치시켜 모수를 추정하는 방법
- 최대우도법 (MLE) : 관측된 데이터가 나올 확률(우도)을 최대화하는 모수 추정법
- 최대 사후확률 판정법 (MAP) : 사전 확률과 데이터에 기반하여 사후확률을 최대화하는 추정법
* 베이즈 주의(Bayesian) vs 빈도 주의(Frequentist)
. 빈도 주의 (MLE 등) : 모수는 고정된 값이며, 데이터의 우도(Likelihood)를 극대화함
. 베이즈 주의 (MAP 등) : 모수 자체를 확률변수로 보며, 사전지식(Prior)을 추정과정에 반영함