1. 특이값 분해 (SVD, Singular Value Decomposition)
ㅇ 임의의 행렬을, 고유값을 기저로 하여,
- 두 직교행렬과 특이값을 포함하는 대각행렬의 곱 (3개의 행렬 곱)으로,
- 분해하는 행렬 분해 방법
2. 행렬의 특이값 (Singular Value)
ㅇ 행렬이 공간을 변환할 때 각 방향으로 얼마나 늘리거나 줄이는지를 나타내는 값
- 그 크기를 통해, 선형 변환의 주요 방향을 알 수 있음
- 특히, 큰 값의 방향은, 행렬이 가장 강하게 작용하는 축을 나타냄
- 이를 통해, 행렬의 주요 구조 추출, 차원 축소, 노이즈 제거 등 활용 가능
ㅇ 행렬의 고유값과 밀접하게 관련되지만, 의미와 계산 방법이 다름
- ATA에 대한 고유값(λ)의 양의 제곱근 : σ = √λ
. 여기서, A는 m x n 실수 또는 복소수 행렬
3. 특이값 분해의 표현
ㅇ 하나의 행렬을 3개의 행렬 곱으로 표현 : A = U Σ VT
- A : m x n 행렬, U : m x m 정방행렬, Σ : m x n 행렬, VT : n x n 정방행렬
. 각 성분은 데이터의 방향, 크기, 구조적 특성을 나타냄
- U,V 는, 직교행렬(직교 정방행렬) (U ∈ Rmxm, V ∈ Rnxn)
- Σ 는, 직사각 대각행렬 (Σ∈ Rmxn)
. 주대각성분 : A의 특이값 (큰 값부터 차례대로)
. 나머지 성분 : 0
4. 특이값 분해의 특징
ㅇ SVD(특이값 분해)는, EVD(고유값 분해)를 확장한 형태
ㅇ 고유값 분해와 달리, 적용 대상 행렬에 대한 제한이 없으므로, 널리 쓰이는 대표적인 방법
- 굳이 n x n 정방행렬이 아니여도, 일반적인 m x n 행렬도 분해 가능
- 실수 행렬 뿐 만 아니라, 복소수 행렬에 대해서도 적용 가능
ㅇ 역행렬 없는 경우에도 유사 역행렬 정의 가능
- 이를 통해, 해 없거나 해 무한인 경우에도 근사해 풀이 가능
ㅇ 벡터 공간의 작용 : (3개의 행렬 곱) 회전 → 스케일링 → 회전
5. 특이값 분해의 응용
ㅇ 주성분 분석
ㅇ 데이터 압축
ㅇ 의사 역행렬
ㅇ 호모그래피 등