KNN   K-Nearest Neighbors   k 최근접 이웃

1. k-최근접 이웃 (KNN, K-Nearest Neighbors)

  ㅇ 머신러닝 알고리즘 중 가장 직관적이고 이해하기 쉬운 방법론 중 하나
     - 새로운 데이터 포인트가 주어질 때, 
     - 이와 가장 가까운 k개의 기존 데이터 포인트(이웃)를 찾아, (주로, 거리 관점으로)
     - 이들의 특성을 기반으로, 새로운 데이터의 클래스를 분류하거나 값을 예측
     - 여기서, k는 사용자가 미리 지정해야 하는 하이퍼파라미터


2. KNN의 특징

  ㅇ 단순하고 직관적임
  ㅇ 지도 학습법
  ㅇ 비모수적 방법으로, 데이터 확률분포에 대한 가정을 거의 하지 않음
  ㅇ 계산 비용이 높을 수 있으며, 특히 데이터 양이 많을수록 높아짐
  ㅇ 분류와 회귀 모두에서 사용 가능
     - 분류 : k개의 이웃 중 가장 많은 클래스를 새로운 데이터 포인트의 클래스로 할당
     - 회귀 : k개의 이웃들의 평균 또는 가중 평균 값을 새로운 데이터 포인트의 예측 값으로 사용
  ㅇ K 값 선택에 따라 성능이 달라질 수 있음


3. k 값 의존성

  ㅇ k 값이 너무 작으면  :  잡음에 민감해질 수 있음
  ㅇ k 값이 너무 크면  :  모델이 부드러워지지만 세부적인 특징을 놓칠 가능성 있음
  ㅇ 홀수 k 값을 사용하면  :  분류에서 동점(타이)을 방지할 수 있음