Regression Analysis   회귀 분석

1. 회귀분석 (Regression Analysis)

  ㅇ 변수들 사이에 함수적 관계를 탐색하는 것
     - 일련의 변수들 사이에 확률적 관계를 갖을 때,
     - 이 관계성을 랜덤변수의 함수(수학적 함수 관계식이 아닌 확률적 관계식)로 나타내고,
     - 이를통해 분석하는 것

  ※ [유래]
     - 회귀(regression)이라는 용어는, 영국 우생학자 칼턴(F. Galton,1822~1891)이
       아버지의 키가 아들의 키에 미치는 영향(본래의 모습으로 되돌아가는 경향)을 언급
       할 때 처음 사용한 것에 유래

  ※ [지향점] 데이터 집단이 갖는 추세 모형 추구
     - 각 점들을 정확히 통과하지는 않지만, 데이터 집단의 경향을 보이는 하나의 곡선을 찾음


2. 회귀분석 주요 용도

  ㅇ 독립변수(회귀변수,regressor 또는 설명변수/예측변수)에 따른
     종속변수(반응변수,response)의 변화를 예측하여 봄
     - 한 변수의 변화로부터 다른 변수의 변화를 예측하고,
     - 관심있는 변수의 최적값이 다른 변수가 어떤 값을 취할 때 얻어지는가,
     - 변수 간의 최선의 관계성, 관계의 강도 등을 분석

  ㅇ 가설적 함수 관계(선형적 관계 등)의 타당성 검정

  ㅇ 과거의 추세를 기초로하여 미래를 예측 
     - 다만, 구조적인 변화가 있는 경우 예측에 한계를 보임


3. 회귀분석 구분

  ㅇ 확률변수 간에 관계성에 따라
     - 선형적   : 선형 회귀분석                           ☞ 최소자승법 참조
        .. 확률변수 간에 선형성 결합 정도의 척도 => 상관계수 참조
        .. 만일, 상관계수가 높으면 한 변수 정보로부터 다른 변수를 예측하는데
           높은 신뢰도를 기대할 수 있음
     - 비선형적 : 비선형 회귀분석

  ㅇ 회귀변수(독립변수)의 수,관계에 따라
     - 단순 회귀분석 (단변량회귀, bivariate regression,simple linear regression)
        . 하나의 회귀변수(독립변수)와 하나의 반응변수(종속변수) 간의 선형적 관계
           .. (2 변량 관계)

     - 다중 회귀분석 (다변량회귀, multiple regression)
        . 둘 이상의 회귀변수(독립변수)와 하나의 반응변수(종속변수) 간의 선형적 관계
           .. (다 변량 관계)

     - 곡선 회귀분석
        . 하나의 회귀변수가 2차 이상의 고차 함수적인 관계


4. 회귀분석에서 통계적 검정의 종류

  ㅇ 회귀 모형 자체에 대한 검정

  ㅇ 각 개별 변수의 유의성 검정


5. 회귀분석 주요 용어

  ㅇ 회귀 모형
     - 변수들 간의 관계를 나타내는 통계적 모형

  ㅇ 회귀식(Regression Equation) : Y = f() + ε
     - 변수들 간의 관계를 최적으로 나타내는 수학적 관계식

  ㅇ 회귀계수 (Regression Coefficient) = 회귀선의 기울기
     - 예측변수가 한 단위 만큼 변화함에 따라 반응변수에 미치는 영향력의 크기
        . 회귀식에 나타나는 미지의 계수(모수)
     - 결국, 이 회귀계수들을 추정하는 일이 회귀분석인 셈

  ※ 선형 회귀모형 例
     
     - (Y: 반응변수,X: 예측변수,n: 예측변수 개수,ε: 확률오차,f: 변수들간의 함수관계,
        β: 회귀모수 또는 회귀계수)
     - 결국, 회귀계수 β가 데이터들로부터 추정되어야하는 미지의 상수