LSM, LSA   Least Squre Method, Method of Least Squares, Least Squre Approximation   최소 자승법, 최소 제곱법, 최소 평방법, 최소 자승 근사법

(2020-04-14)

LMS, Least Mean Square, Residual Sum of Squares, RSS, Sum of Squared Residuals, SSR, 잔차 제곱 합

1. 최소 자승 법(Least Squre Method,Least Mean Square), 최소 자승 근사법(Least Squre Approximation)

  ㅇ `잔차의 제곱의 합을 최소화`시켜, 
     - 실제에 가깝도록 추정/근사하는 기법(수학적 도구)을 말함

  ㅇ 즉, 최소자승법이란,
     - 적은 수의 관찰값들 만으로, 
     - 그 상황을 가장 잘 설명하는 모델식(예측식)을 찾으려고 할 때,
        . (여기서의 모델은, 선형 또는 비선형/곡선으로도 할 수 있으나, 주로 선형을 많이 씀)
     - 그 기준을 `잔차의 제곱의 합을 최소화`함에 촛점을 두는 방법
        . (관측값,추정값,잔차,잔차 제곱 합,최소화 등의 의미는,  ☞ 아래 4.항 참조)

  ㅇ 한편, 확률/통계 이론에서,
     - 적은 수의 표본들로써 어떤 알지 못하는 값을 추정할 때 사용되는 방법 중 하나로,
        . 최소자승법은, 굳이, 확률분포가정하지 않고도 추정할 수 있는 방법 임
     - `최소자승법`에 대한 통계적 추론 용어로는,
        . `최소평균제곱오차(MMSE) 추정` 이라고 함


2. 최소자승법의 개략 역사

  ㅇ 최소자승법 최초 발표(1805) : 르장드르 (프랑스, 1752~1833)
  ㅇ 최소자승법 완성 및 확률과의 관계를 최초로 설명 : 가우스 (독일, 1777~1855)
  ㅇ 최소자승법과 확률을 연결한 가우스 기법을 개선 : 라플라스 (프랑스, 1749~1827)


3. 최소자승법의 특징

  ㅇ 적은 수의 관찰값들 만으로, 그 상황을 가장 잘 설명하는 모델 방정식예측하는 것임
     - 통계학에서는, 모델 방정식회귀 방정식 또는 회귀 모형 이라고도 함

  ㅇ 실제로는, 이미 정해진 모델 방정식파라미터(계수)를 구하는 방법 임
     - 즉, 전체를 대표하는 모델 방정식 또는 모델 다항식에서 각 항의 계수를 구하려는 것임
        . 선형(또는, 비선형) 모델 방정식파라미터(계수)를 구하는 대표적인 방법 중 하나
        . 선형일 경우, 기울기 및 절편을 구하는 것임

  ※ [참고] ☞ 선형 회귀분석, 회귀분석 참조
     - 즉, 최소자승법은 회귀분석에서 회귀계수추정에 사용되는 방법의 일종임


4. 최소자승법의 전개(유도)

  ㅇ 관측 데이터모델 데이터 간에 잔차 제곱 합을 최소화하도록,
     - 모델식 내 파라미터를 결정하는 것임

  ㅇ 잔차 제곱 합 (RSS : Residual Sum of Squares, SSR : Sum of Squared Residuals)
       
[# RSS = \sum^n_{i=1} \left( e_i \right)^2 = \sum^n_{i=1} \left( y_i - f(x_i) \right)^2 #]
- 관측값 : {# y_i \quad #} 추정값 : {# f(x_i) #} - 잔차 : 실제 관측값과 추정값 간의 차이값 {# e_i = y_i - f(x_i) #} - 잔차 제곱 합 : 관측값과 추정값 간의 차이의 제곱들을 모두 합한 값 ㅇ 여기서, `잔차 제곱 합`을 쓰는 이유 - 만일, 단지 `잔차의 합` 만을 최소화하면, . 음과 양의 편차가 상쇄되어 편차의 합이 0 이 되버림 ㅇ 한편, 표준 선형 회귀분석 모델의 경우에는, `잔차의 제곱의 합`은 다음과 같음
[# RSS = \sum^n_{i=1} \left( y_i - (\alpha + \beta x_i) \right)^2 #]
ㅇ 이때, 이들 각 파라미터별로 편미분을 하여 0 으로 놓으면,
[# \frac{\partial (RSS)}{\partial \alpha} = -2 \sum^n_{i=1} (y_i - \alpha - \beta x_i) = 0 \\ \frac{\partial (RSS)}{\partial \beta} = -2 \sum^n_{i=1} (y_i - \alpha - \beta x_i)x_i = 0 #]
- 극값(최대값,최소값)을 구할 수 있게됨 ㅇ 결국, - 각 파라미터(미지수 α,β)별로 편미분된 식으로 구분된 연립방정식으로부터, - 각 파라미터 값을 구할 수 있고, - 이로부터, 결과적인 `최적의 모델 방정식(또는, 최적 회귀식)`을 구할 수 있게됨 5. 선형대수에서, 최소 제곱 문제 (Least Square Problem) ㅇ m × n 행렬 {#A#}와 {#R^m#}의 벡터 {#\mathbf{b}#}가 주어졌을 때, - 잔차 제곱 {#\|\mathbf{b}-A\mathbf{x}\|^2 #}이 최소가 되도록하는 {#\mathbf{x}\in R^n#}를 구하는 문제 - 여기서, . 불완전한 추정 시스템 : {#A\mathbf{x}=\mathbf{b}#} .. {#A#} : m × n 행렬시스템 행렬(계수 행렬) .. m : 방정식의 갯수 .. n : 미지수의 갯수 . 오차 벡터 : {# \mathbf{e} = \mathbf{b} - A\hat{\mathbf{x}}#} ☞ 벡터 투영 참조 .. m개의 관측값 벡터 : {#\mathbf{b}#} .. 추정 벡터 : {# \hat{\mathbf{x}} #} . 잔차(오차) 제곱 : {# \|\mathbf{e}\|^2 = \|\mathbf{b} - A\hat{\mathbf{x}}\|^2 #} . 잔차 제곱을 최소화하는 최소 제곱 해 : {#\mathbf{x}#} ㅇ (목표) - {#\mathbf{x}#}에 대한 n(< m)개의 값(파라미터)을 오차를 최소화하는 관점에서 택하여, - 관측값에 잘 맞추려고 함


[회귀분석] 1. 회귀분석 2. 선형 회귀분석 3. 결정계수 4. 잔차 5. 최소 자승법

 
        최근수정     요약목록     참고문헌