LSM, LSA   Least Squre Method, Method of Least Squares, Least Squre Approximation   최소 자승법, 최소 제곱법, 최소 평방법, 최소 자승 근사법

(2020-02-08)

Residual Sum of Squares, RSS, Sum of Squared Residuals, SSR, 잔차 제곱 합

1. 최소자승법(Least Squre Method), 최소자승 근사법(Least Squre Approximation)

  ㅇ `잔차의 제곱의 합을 최소화`시켜, 
     - 실제에 가깝도록 추정/근사하는 기법(수학적 도구)을 말함

  ㅇ 즉, 최소자승법이란,
     - 적은 수의 관찰값들 만으로 그 상황을 가장 잘 설명하는 모델식(예측식)을 찾으려고 할 때,
     - 그 기준을 `잔차의 제곱의 합을 최소화`함에 촛점을 두는 방법  ☞ 아래 3.항 참조

  ㅇ 한편, 확률/통계 이론에서,
     - 적은 수의 표본들로써 어떤 알지 못하는 값을 추정할 때 사용되는 방법 중 최소자승법은,
        . 굳이, 확률분포가정하지 않고도 추정할 수 있는 방법 임
     - `최소자승법`에 대한 통계적 추론 용어로는,
        . `최소평균제곱오차(MMSE) 추정` 이라고 함


2. 최소자승법의 역사

  ㅇ 최소자승법 최초 발표(1805) : 르장드르 (프랑스, 1752~1833)
  ㅇ 최소자승법 완성 및 확률과의 관계를 최초로 설명 : 가우스 (독일, 1777~1855)
  ㅇ 최소자승법과 확률을 연결한 가우스 기법을 개선 : 라플라스 (프랑스, 1749~1827)


3. 최소자승법의 요점

  ㅇ 관측 데이터모델 데이터 간에 잔차 제곱 합을 최소화하도록,
     - 모델식 내 파라미터를 결정하는 것임

  ㅇ 잔차 제곱 합 (RSS : Residual Sum of Squares, SSR : Sum of Squared Residuals)
       
[# RSS = \sum^n_{i=1} \left( e_i \right)^2 = \sum^n_{i=1} \left( y_i - f(x_i) \right)^2 #]
- 관측값 : {# y_i \quad #} 추정값 : {# f(x_i) #} - 잔차 : 실제 관측값과 추정값 간의 차이값 {# e_i = y_i - f(x_i) #} - 잔차 제곱 합 : 관측값과 추정값 간의 차이의 제곱들을 모두 합한 값 ㅇ 여기서, `잔차 제곱 합`을 쓰는 이유 - 만일, 단지 `잔차의 합` 만을 최소화하면, . 음과 양의 편차가 상쇄되어 편차의 합이 0 이 되버림 ㅇ 한편, 표준 선형 회귀분석 모델의 경우에는, `잔차의 제곱의 합`은 다음과 같음
[# RSS = \sum^n_{i=1} \left( y_i - (\alpha + \beta x_i) \right)^2 #]
ㅇ 이때, 이들 각 파라미터별로 편미분을 하여 0 으로 놓으면,
[# \frac{\partial (RSS)}{\partial \alpha} = -2 \sum^n_{i=1} (y_i - \alpha - \beta x_i) = 0 \\ \frac{\partial (RSS)}{\partial \beta} = -2 \sum^n_{i=1} (y_i - \alpha - \beta x_i)x_i = 0 #]
- 극값(최대값,최소값)을 구할 수 있게됨 ㅇ 결국, - 각 파라미터(미지수 α,β)별로 편미분된 식으로 구분된 연립방정식으로부터, - 각 파라미터 값을 구할 수 있고, - 이로부터, 최적의 모델 방정식(또는, 최적 회귀식)을 구할 수 있게됨 4. 최소자승법의 특징 ㅇ 적은 수의 관찰값들 만으로 그 상황을 가장 잘 설명하는 모델 방정식예측하는 것임 - 모델 방정식통계학에서는, 회귀 방정식 또는 회귀 모형 이라고 함 ㅇ 실제로는, 모델 방정식파라미터(계수)를 구하는 방법 임 - 즉, 전체를 대표하는 모형 방정식 또는 모형 다항식에서 각 항의 계수를 구하려는 것임 - 선형(또는, 비선형) 모델 방정식파라미터(계수)를 구하는 대표적인 방법 중 하나 . 선형일 경우, 기울기 및 절편을 구하는 것임 ※ [참고] ☞ 선형 회귀분석, 회귀분석 참조 - 즉, 최소자승법은 회귀분석에서 회귀계수추정에 사용되는 방법의 일종임 5. 선형대수에서, 최소 제곱 문제 (Least Square Problem) ㅇ m × n 행렬 {#A#}와 {#R^m#}의 벡터 {#\mathbf{b}#}가 주어졌을 때, - 잔차 제곱 {#\|\mathbf{b}-A\mathbf{x}\|^2 #}이 최소가 되도록하는 {#\mathbf{x}\in R^n#}를 구하는 문제 - 여기서, . m개의 관측값 벡터 : {#\mathbf{b}#} . 추정 벡터 : {# \hat{\mathbf{x}} #} . 오차 벡터 : {# \mathbf{e} = \mathbf{b} - A\hat{\mathbf{x}}#} . 잔차 제곱 : {# \|\mathbf{e}\|^2 = \|\mathbf{b} - A\hat{\mathbf{x}}\|^2 #} . (목표) : {#\mathbf{x}#}에서 n(< m)개의 파라미터를 택하여 관측값에 잘 맞추려고 함


[회귀분석] 1. 회귀분석 2. 선형 회귀분석 3. 결정계수 4. 잔차 5. 최소 자승법
  1.   기술공통
  2.   기초과학
        1. 과학
    1.   수학
          1. 수학
      1.   기초수학
      2.   집합,논리
      3.   해석학(미적분 등)
      4.   대수학
      5.   확률/통계
        1.   확률 이란?
        2.   확률 정리/법칙
        3.   확률 공간
        4.   확률 모형,분포
        5.   확률 변수
        6.   확률 과정
        7.   통계량
        8.   통계학
              1. 통계학
          1.   모집단,표본
          2.   통계적 기술(記述)
          3.   통계적 추론
          4.   통계적 분석
                1. 통계적 분석
                2. 수요예측
                3. 주성분 분석
            1.   상관분석
            2.   분산분석
            3.   회귀분석
              1.   1. 회귀분석
                  2. 선형 회귀분석
                  3. 결정계수
                  4. 잔차
                  5. 최소 자승법
            4.   실험계획
          5.   비모수 통계
          6.   베이즈 통계학
      6.   수치해법
    2.   물리
    3.   화학
    4.   지구,천체 과학
    5.   생명과학
    6.   뇌과학
  3.   진동/파동
  4.   방송/멀티미디어/정보이론
  5.   전기전자공학
  6.   통신/네트워킹
  7.   정보기술(IT)
  8.   공업일반(기계,재료등)
  9.   표준/계측/품질
  10.   기술경영

 
        최근수정     요약목록     참고문헌