LSM, LSA   Least Squre Method, Method of Least Squares, Least Squre Approximation   최소 자승법, 최소 제곱법, 최소 평방법, 최소 자승 근사법

(2020-04-14)

LMS, Least Mean Square, Residual Sum of Squares, RSS, Sum of Squared Residuals, SSR, 잔차 제곱 합

1. 최소 자승 법(Least Squre Method,Least Mean Square), 최소 자승 근사법(Least Squre Approximation)

  ㅇ `잔차의 제곱의 합을 최소화`시켜, 
     - 실제에 가깝도록 추정/근사하는 기법(수학적 도구)을 말함

  ㅇ 즉, 최소자승법이란,
     - 적은 수의 관찰값들 만으로, 
     - 그 상황을 가장 잘 설명하는 모델식(예측식)을 찾으려고 할 때,
        . (여기서의 모델은, 선형 또는 비선형/곡선으로도 할 수 있으나, 주로 선형을 많이 씀)
     - 그 기준을 `잔차의 제곱의 합을 최소화`함에 촛점을 두는 방법
        . (관측값,추정값,잔차,잔차 제곱 합,최소화 등의 의미는,  ☞ 아래 4.항 참조)

  ㅇ 한편, 확률/통계 이론에서,
     - 적은 수의 표본들로써 어떤 알지 못하는 값을 추정할 때 사용되는 방법 중 하나로,
        . 최소자승법은, 굳이, 확률분포가정하지 않고도 추정할 수 있는 방법 임
     - `최소자승법`에 대한 통계적 추론 용어로는,
        . `최소평균제곱오차(MMSE) 추정` 이라고 함


2. 최소자승법의 개략 역사

  ㅇ 최소자승법 최초 발표(1805) : 르장드르 (프랑스, 1752~1833)
  ㅇ 최소자승법 완성 및 확률과의 관계를 최초로 설명 : 가우스 (독일, 1777~1855)
  ㅇ 최소자승법과 확률을 연결한 가우스 기법을 개선 : 라플라스 (프랑스, 1749~1827)


3. 최소자승법의 특징

  ㅇ 적은 수의 관찰값들 만으로, 그 상황을 가장 잘 설명하는 모델 방정식예측하는 것임
     - 통계학에서는, 모델 방정식회귀 방정식 또는 회귀 모형 이라고도 함

  ㅇ 실제로는, 이미 정해진 모델 방정식파라미터(계수)를 구하는 방법 임
     - 즉, 전체를 대표하는 모델 방정식 또는 모델 다항식에서 각 항의 계수를 구하려는 것임
        . 선형(또는, 비선형) 모델 방정식파라미터(계수)를 구하는 대표적인 방법 중 하나
        . 선형일 경우, 기울기 및 절편을 구하는 것임

  ※ [참고] ☞ 선형 회귀분석, 회귀분석 참조
     - 즉, 최소자승법은 회귀분석에서 회귀계수추정에 사용되는 방법의 일종임


4. 최소자승법의 전개(유도)

  ㅇ 관측 데이터모델 데이터 간에 잔차 제곱 합을 최소화하도록,
     - 모델식 내 파라미터를 결정하는 것임

  ㅇ 잔차 제곱 합 (RSS : Residual Sum of Squares, SSR : Sum of Squared Residuals)
       
[# RSS = \sum^n_{i=1} \left( e_i \right)^2 = \sum^n_{i=1} \left( y_i - f(x_i) \right)^2 #]
- 관측값 : {# y_i \quad #} 추정값 : {# f(x_i) #} - 잔차 : 실제 관측값과 추정값 간의 차이값 {# e_i = y_i - f(x_i) #} - 잔차 제곱 합 : 관측값과 추정값 간의 차이의 제곱들을 모두 합한 값 ㅇ 여기서, `잔차 제곱 합`을 쓰는 이유 - 만일, 단지 `잔차의 합` 만을 최소화하면, . 음과 양의 편차가 상쇄되어 편차의 합이 0 이 되버림 ㅇ 한편, 표준 선형 회귀분석 모델의 경우에는, `잔차의 제곱의 합`은 다음과 같음
[# RSS = \sum^n_{i=1} \left( y_i - (\alpha + \beta x_i) \right)^2 #]
ㅇ 이때, 이들 각 파라미터별로 편미분을 하여 0 으로 놓으면,
[# \frac{\partial (RSS)}{\partial \alpha} = -2 \sum^n_{i=1} (y_i - \alpha - \beta x_i) = 0 \\ \frac{\partial (RSS)}{\partial \beta} = -2 \sum^n_{i=1} (y_i - \alpha - \beta x_i)x_i = 0 #]
- 극값(최대값,최소값)을 구할 수 있게됨 ㅇ 결국, - 각 파라미터(미지수 α,β)별로 편미분된 식으로 구분된 연립방정식으로부터, - 각 파라미터 값을 구할 수 있고, - 이로부터, 결과적인 `최적의 모델 방정식(또는, 최적 회귀식)`을 구할 수 있게됨 5. 선형대수에서, 최소 제곱 문제 (Least Square Problem) ㅇ m × n 행렬 {#A#}와 {#R^m#}의 벡터 {#\mathbf{b}#}가 주어졌을 때, - 잔차 제곱 {#\|\mathbf{b}-A\mathbf{x}\|^2 #}이 최소가 되도록하는 {#\mathbf{x}\in R^n#}를 구하는 문제 - 여기서, . 불완전한 추정 시스템 : {#A\mathbf{x}=\mathbf{b}#} .. {#A#} : m × n 행렬시스템 행렬(계수 행렬) .. m : 방정식의 갯수 .. n : 미지수의 갯수 . 오차 벡터 : {# \mathbf{e} = \mathbf{b} - A\hat{\mathbf{x}}#} ☞ 벡터 투영 참조 .. m개의 관측값 벡터 : {#\mathbf{b}#} .. 추정 벡터 : {# \hat{\mathbf{x}} #} . 잔차(오차) 제곱 : {# \|\mathbf{e}\|^2 = \|\mathbf{b} - A\hat{\mathbf{x}}\|^2 #} . 잔차 제곱을 최소화하는 최소 제곱 해 : {#\mathbf{x}#} ㅇ (목표) - {#\mathbf{x}#}에 대한 n(< m)개의 값(파라미터)을 오차를 최소화하는 관점에서 택하여, - 관측값에 잘 맞추려고 함


[회귀분석] 1. 회귀분석 2. 선형 회귀분석 3. 결정계수 4. 잔차 5. 최소 자승법
  1.   기술공통
  2.   기초과학
        1. 과학
    1.   수학
          1. 수학
      1.   기초수학
      2.   집합,논리
      3.   해석학(미적분 등)
      4.   대수학
      5.   확률/통계
        1.   확률 이란?
        2.   확률 정리/법칙
        3.   확률 공간
        4.   확률 모형,분포
        5.   확률 변수
        6.   확률 과정
        7.   통계량
        8.   통계학
              1. 통계학
          1.   모집단,표본
          2.   통계적 기술(記述)
          3.   통계적 추론
          4.   통계적 분석
                1. 통계적 분석
                2. 수요예측
                3. 주성분 분석
            1.   상관분석
            2.   분산분석
            3.   회귀분석
              1.   1. 회귀분석
                  2. 선형 회귀분석
                  3. 결정계수
                  4. 잔차
                  5. 최소 자승법
            4.   실험계획
          5.   비모수 통계
          6.   베이즈 통계학
      6.   수치해법
    2.   물리
    3.   화학
    4.   지구,천체 과학
    5.   생명과학
    6.   뇌과학
  3.   진동/파동
  4.   방송/멀티미디어/정보이론
  5.   전기전자공학
  6.   통신/네트워킹
  7.   정보기술(IT)
  8.   공학일반(기계,재료등)
  9.   표준/계측/품질
  10.   기술경영

 
        최근수정     요약목록     참고문헌