LSM, LSA   Least Squre Method, Method of Least Squares, Least Squre Approximation   최소 자승법, 최소 제곱법, 최소 평방법, 최소 자승 근사법

(2020-02-08)

Residual Sum of Squares, RSS, Sum of Squared Residuals, SSR, 잔차 제곱 합

1. 최소자승법(Least Squre Method), 최소자승 근사법(Least Squre Approximation)

  ㅇ `잔차의 제곱의 합을 최소화`시켜, 
     - 실제에 가깝도록 추정/근사하는 기법(수학적 도구)을 말함

  ㅇ 즉, 최소자승법이란,
     - 적은 수의 관찰값들 만으로 그 상황을 가장 잘 설명하는 모델식(예측식)을 찾으려고 할 때,
     - 그 기준을 `잔차의 제곱의 합을 최소화`함에 촛점을 두는 방법  ☞ 아래 3.항 참조

  ㅇ 한편, 확률/통계 이론에서,
     - 적은 수의 표본들로써 어떤 알지 못하는 값을 추정할 때 사용되는 방법 중 최소자승법은,
        . 굳이, 확률분포가정하지 않고도 추정할 수 있는 방법 임
     - `최소자승법`에 대한 통계적 추론 용어로는,
        . `최소평균제곱오차(MMSE) 추정` 이라고 함


2. 최소자승법의 역사

  ㅇ 최소자승법 최초 발표(1805) : 르장드르 (프랑스, 1752~1833)
  ㅇ 최소자승법 완성 및 확률과의 관계를 최초로 설명 : 가우스 (독일, 1777~1855)
  ㅇ 최소자승법과 확률을 연결한 가우스 기법을 개선 : 라플라스 (프랑스, 1749~1827)


3. 최소자승법의 요점

  ㅇ 관측 데이터모델 데이터 간에 잔차 제곱 합을 최소화하도록,
     - 모델식 내 파라미터를 결정하는 것임

  ㅇ 잔차 제곱 합 (RSS : Residual Sum of Squares, SSR : Sum of Squared Residuals)
       
[# RSS = \sum^n_{i=1} \left( e_i \right)^2 = \sum^n_{i=1} \left( y_i - f(x_i) \right)^2 #]
- 관측값 : {# y_i \quad #} 추정값 : {# f(x_i) #} - 잔차 : 실제 관측값과 추정값 간의 차이값 {# e_i = y_i - f(x_i) #} - 잔차 제곱 합 : 관측값과 추정값 간의 차이의 제곱들을 모두 합한 값 ㅇ 여기서, `잔차 제곱 합`을 쓰는 이유 - 만일, 단지 `잔차의 합` 만을 최소화하면, . 음과 양의 편차가 상쇄되어 편차의 합이 0 이 되버림 ㅇ 한편, 표준 선형 회귀분석 모델의 경우에는, `잔차의 제곱의 합`은 다음과 같음
[# RSS = \sum^n_{i=1} \left( y_i - (\alpha + \beta x_i) \right)^2 #]
ㅇ 이때, 이들 각 파라미터별로 편미분을 하여 0 으로 놓으면,
[# \frac{\partial (RSS)}{\partial \alpha} = -2 \sum^n_{i=1} (y_i - \alpha - \beta x_i) = 0 \\ \frac{\partial (RSS)}{\partial \beta} = -2 \sum^n_{i=1} (y_i - \alpha - \beta x_i)x_i = 0 #]
- 극값(최대값,최소값)을 구할 수 있게됨 ㅇ 결국, - 각 파라미터(미지수 α,β)별로 편미분된 식으로 구분된 연립방정식으로부터, - 각 파라미터 값을 구할 수 있고, - 이로부터, 최적의 모델 방정식(또는, 최적 회귀식)을 구할 수 있게됨 4. 최소자승법의 특징 ㅇ 적은 수의 관찰값들 만으로 그 상황을 가장 잘 설명하는 모델 방정식예측하는 것임 - 모델 방정식통계학에서는, 회귀 방정식 또는 회귀 모형 이라고 함 ㅇ 실제로는, 모델 방정식파라미터(계수)를 구하는 방법 임 - 즉, 전체를 대표하는 모형 방정식 또는 모형 다항식에서 각 항의 계수를 구하려는 것임 - 선형(또는, 비선형) 모델 방정식파라미터(계수)를 구하는 대표적인 방법 중 하나 . 선형일 경우, 기울기 및 절편을 구하는 것임 ※ [참고] ☞ 선형 회귀분석, 회귀분석 참조 - 즉, 최소자승법은 회귀분석에서 회귀계수추정에 사용되는 방법의 일종임 5. 선형대수에서, 최소 제곱 문제 (Least Square Problem) ㅇ m × n 행렬 {#A#}와 {#R^m#}의 벡터 {#\mathbf{b}#}가 주어졌을 때, - 잔차 제곱 {#\|\mathbf{b}-A\mathbf{x}\|^2 #}이 최소가 되도록하는 {#\mathbf{x}\in R^n#}를 구하는 문제 - 여기서, . m개의 관측값 벡터 : {#\mathbf{b}#} . 추정 벡터 : {# \hat{\mathbf{x}} #} . 오차 벡터 : {# \mathbf{e} = \mathbf{b} - A\hat{\mathbf{x}}#} . 잔차 제곱 : {# \|\mathbf{e}\|^2 = \|\mathbf{b} - A\hat{\mathbf{x}}\|^2 #} . (목표) : {#\mathbf{x}#}에서 n(< m)개의 파라미터를 택하여 관측값에 잘 맞추려고 함


[회귀분석] 1. 회귀분석 2. 선형 회귀분석 3. 결정계수 4. 잔차 5. 최소 자승법

 
        최근수정     요약목록     참고문헌