1. 손실 함수 (Loss Function)
ㅇ 추정/예측 모델을 정하고, 이 모델이 데이터를 얼마나 잘 추정/예측하는지,
- 그 오차/손실/비용 정도에 대해 수학적으로 표현하는 함수
. (때론, 목적함수, 비용함수 라고도 함 => 즉, 최소화할 대상)
ㅇ 손실 함수의 정량화
- 모수 θ를 추정량 t로 추정할 때,
. 잘못 추정함으로써 발생되는 손실량에 대한, 함수적 관계성 정도로써 척도화함
ㅇ 손실 함수의 정량적 표현 : (모델이 정확할수록 손실 함수의 값이 작아지도록 정의 함)
- loss(t;θ) 또는 l(t;θ) ≥ 0
. t = θ 일 때, l(t;θ) = 0
. t는, 표본값 or 실제 관측값
. θ는, 모수에 대한 추정값 or 예측값에 대한 추정량 or 모델이 계산한 값
. (때론, 손실 함수의 정량화된 결과값을, 오차 라고도 함)
ㅇ 손실 함수의 종류
- 산술 손실 함수 : (오차 기반)
. 모델이, 예측값과 관측값 간의 차이를 산술적으로 계산
.. l(t;θ) = (t - θ)2 : 제곱 오차 손실 함수 (MSE)
.. l(t;θ) = | t - θ | : 절대값 오차 손실 함수 (MAE)
- 확률 손실 함수 : (확률 기반)
. 모델이, 관측 데이터를 예측할 확률을 최대화하는 방식으로 계산
.. {#LLF(θ) = \log L(θ;x) = \sum^n_{i=1} \log p(x \vert θ)#} : 로그 우도 함수
.. H(p,q) = - ∑ p(x) log q(x) : 교차 엔트로피 함수 (분류 문제에서 가장 대표적임)
- 문제 특화 손실 함수 (랭킹 손실 함수) : (Task-specific)
. 문제 목적(분류, 랭킹 등)에 맞게 정의
.. 랭킹 손실, 힌지 손실 등
. 모델이, 예측해낸 결과값의 순서가 맞는지 판별
ㅇ 손실 함수의 정규화 (Regularization) : (정규화/복잡도 제어)
- 모델이, 필요 이상으로 복잡해지지 않도록, 모델 복잡도 제어를 위함
. 전체 목적함수 = 손실 + λ·복잡도
ㅇ 학습의 목표
- 손실 함수 값을 가장 작게하는 (최적의), 매개변수(가중치,편향 등)를 찾는 것
ㅇ 학습의 방법 : 손실 함수의 분석 및 최적화 방법
- 기계학습에서, 여러 번 반복해서, 손실 함수의 최소값을 찾아가는 과정/방법들로써,
. 기울기(1차 미분) 활용 방법 : 경사하강법(GD), 확률적 경사하강법(SGD), Adam 등
. 곡률(2차 미분) 활용 방법 : 뉴턴법, 준 뉴턴법 등
.. 뉴턴법 : 현재 위치에서 함수의 곡률 정보를 사용하여 최솟값을 더 빠르게 찾아감
.. 준 뉴턴법 : 2차 미분 값을 직접 계산하기엔 비용이 너무 커서, 이를 근사 사용함