Linear Regression, Least Square Regression   선형 회귀분석, 최소제곱 회귀분석

1. 회귀분석 (Regression Analysis) 이란?

  ㅇ 하나의 변량(결과변량)을 다른 한 조의 변량의 함수로서 이론적 관계를 구하는 것
     - 데이터 값들의 변동성(랜덤성), 관계성에 촛점을 맞춰 이론적 관계를 밝힘

  ㅇ 회귀분석 목표
     - 이론적 모형을 잘 나타내는 진 회귀선(True Regression Line)에 대한 좋은 추정선을 구하는 것


2. 선형 회귀분석 (Linear Regression)

  ㅇ 2 변량 단순 회귀분석 : 선형적인 1차식으로 변량 간의 관계성을 설명하는 것

     - 회귀분석에 최소자승법을 적용 함
     - 이는, 잔차(오차항)의 자승의 총합을 극소화하여,
        . 좋은 추정 회귀선(적합 회귀선,Fitted Regression Line)을 구하는 방법 임
     - 즉, 최적의 직선을 구하기 위해,
        . 모든 주어진 데이터의 오차의 합을 최소화 시킴
     - 이때, 수학 미분법을 이용하게 됨


3. 선형 추정회귀선 산출식

  ㅇ 적합 회귀선, 추정 회귀선 (Fitted Regression Line)
     

  ㅇ 오차(Error) 또는 잔차(Residual)
     

  ㅇ 오차제곱합(SSE,Sum of Square for Error) 또는 잔차제곱합(Residual Sum of Squares)
     

  ㅇ 여기서, 최소제곱법/최소자승법(Method of Least Square)을 활용하면,
     - SSE 최소화(Minimize SSE)를 위해 b0,b1을 편미분
       

     - 정규방정식(Normal Equation)
       

     - 최소제곱 추정값(Least Square Estimate)
       

  ㅇ 결국, 선형 최소자승 근사법이란,
     - SSE를 극소화하는 b0,b1 값을 구하여,
       선형 추정회귀선 를 얻는  방법