LSM, LSA   Least Square Method, Method of Least Squares, Least Square Approximation   최소 자승법, 최소 제곱법, 최소 평방법, 최소 자승 근사법

1. 최소 자승 근사법 (Least Square Method, Least Mean Square, Least Squre Approximation)

  ㅇ `잔차의 제곱의 합을 최소화`시켜, 
     - 실제에 가깝도록, 추정/근사하는 기법(수학적 도구)을 말함

  ㅇ 즉, 최소자승법이란,
     - 적은 수의 관찰값들 만으로, 
     - 그 상황을 가장 잘 설명하는 모델식(예측식)을 찾으려고 할 때,
        . (여기서의 모델은, 선형 또는 비선형/곡선으로도 할 수 있으나, 주로 선형을 많이 씀)
     - 그 기준을 `잔차의 제곱의 합을 최소화`함에 촛점을 두는 방법
        . (관측값,추정값,잔차,잔차 제곱 합,최소화 등의 의미는,  ☞ 아래 4.항 참조)

  ㅇ 한편, 확률/통계 이론 관점에서,
     - 적은 수의 표본들로써 어떤 알지 못하는 값을 추정할 때 사용되는 방법 중 하나로,
        . 최소자승법은, 굳이, 확률분포를 가정하지 않고도 추정할 수 있는 방법 임
     - `최소자승법`에 대한 통계적 추론 용어로는,
        . `최소평균제곱오차(MMSE) 추정` 이라고 함


2. 최소자승법의 개략 역사

  ㅇ 최소자승법 최초 발표(1805) : 르장드르 (프랑스, 1752~1833)
  ㅇ 최소자승법 완성 및 확률과의 관계를 최초로 설명 : 가우스 (독일, 1777~1855)
  ㅇ 최소자승법과 확률을 연결한 가우스 기법을 개선 : 라플라스 (프랑스, 1749~1827)


3. 최소자승법의 특징

  ㅇ 적은 수의 관찰값들 만으로, 그 상황을 가장 잘 설명하는 모델 방정식을 예측하는 것임
     - 통계학에서는, 모델 방정식을 회귀 방정식 또는 회귀 모형 이라고도 함

  ㅇ 실제로는, 이미 정해진 모델 방정식의 파라미터(계수)를 구하는 방법 임
     - 즉, 전체를 대표하는 모델 방정식 또는 모델 다항식에서 각 항의 계수를 구하려는 것임
        . 선형(또는, 비선형) 모델 방정식의 파라미터(계수)를 구하는 대표적인 방법 중 하나
        . 선형일 경우, 기울기 및 절편을 구하는 것임

  ※ [참고] ☞ 선형 회귀분석, 회귀분석 참조
     - 즉, 최소자승법은 회귀분석에서 회귀계수의 추정에 사용되는 방법의 일종임


4. 최소자승법의 전개(유도)

  ㅇ 관측 데이터와 모델 데이터 간에 잔차 제곱 합을 최소화하도록,
     - 모델식 내 파라미터를 결정하는 것임

  ㅇ 잔차 제곱 합, 오차 제곱 합 (RSS : Residual Sum of Squares, SSR : Sum of Squared Residuals)
       
 $$RSS = \sum^n_{i=1} \left( e_i \right)^2 = \sum^n_{i=1} \left( y_i - f(x_i) \right)^2$$ 
     - 관측값 : $y_i \quad$
     - 추정값 : $f(x_i)$ 
     - 잔차 : 실제 관측값과 추정값 간의 차이값 $e_i = y_i - f(x_i)$
     - 잔차 제곱 합 : 관측값과 추정값 간의 차이의 제곱들을 모두 합한 값

  ㅇ 여기서, `잔차 제곱 합`을 쓰는 이유
     - 만일, 단지 `잔차의 합` 만을 최소화하면, 음과 양의 편차가 상쇄되므로,
     - 결국, 편차의 합이 0 이 되버림

  ㅇ 한편, 표준 선형 회귀분석 모델의 경우에는, `잔차의 제곱의 합`은 다음과 같음
       
 $$RSS = \sum^n_{i=1} \left( y_i - (\alpha + \beta x_i) \right)^2$$ 

  ㅇ 이때, 이들 각 파라미터별로 편미분을 하여 0 으로 놓으면, 
         
 $$\frac{\partial (RSS)}{\partial \alpha} = -2 \sum^n_{i=1} (y_i - \alpha - \beta x_i) = 0 \\ \frac{\partial (RSS)}{\partial \beta} = -2 \sum^n_{i=1} (y_i - \alpha - \beta x_i)x_i = 0$$ 
     - 극값(최대값,최소값)을 구할 수 있게됨

  ㅇ 결국,
     - 각 파라미터(미지수 α,β)별로 편미분된 식으로 구분된 연립방정식으로부터,
     - 각 파라미터 값을 구할 수 있고,
     - 이로부터, 결과적인 `최적의 모델 방정식(또는, 최적 회귀식)`을 구할 수 있게됨


5. 선형대수에서, 최소 제곱 문제 (Least Square Problem)

  ㅇ (최소 제곱 해, 최적 근사 해)
     - 선형연립방정식의 해가 없는(불능) 경우에,
     - 즉, 행렬방정식 $A\mathbf{x}=\mathbf{b}$를 만족하는 해가 없을 때,
     - $\|\mathbf{b}-A\mathbf{\hat{x}}\|$을 최소로 만드는 값 $\mathbf{\hat{x}}$을 근사 해로 사용함

  ㅇ (문제)
     - m × n 행렬 $A$와 $R^m$의 벡터 $\mathbf{b}$가 주어졌을 때, 
     - 잔차 제곱 $\|\mathbf{b}-A\mathbf{x}\|^2$이 최소가 되도록하는,
     - $\mathbf{x}\in R^n$를 구하는 문제

     * 여기서, 
        . 불완전한 추정 시스템 : $A\mathbf{x}=\mathbf{b}$
           .. $A$ : m × n 행렬인 시스템 행렬(계수 행렬)
           .. m : 방정식의 갯수
           .. n : 미지수의 갯수
        . 오차 벡터 : $\mathbf{e} = \mathbf{b} - A\hat{\mathbf{x}}$  ☞ 벡터 투영 참조
           .. m개의 관측값 벡터 : $\mathbf{b}$
           .. 추정 벡터 : $\hat{\mathbf{x}}$
        . 잔차(오차) 제곱 : $\|\mathbf{e}\|^2 = \|\mathbf{b} - A\hat{\mathbf{x}}\|^2$
        . 잔차 제곱을 최소화하는 최소 제곱 해 : $\mathbf{x}$

  ㅇ (목표) 
     - $\mathbf{x}$에 대한 n(< m)개의 값(파라미터)들을,
     - 오차를 최소화하는 관점에서 택하여,
     - 이들을 관측값에 잘 맞추려고 함