1. 어텐션 (Attention) : (주의 메커니즘)
ㅇ 입력 데이터 전체 중에서, 현재 처리에 중요한 정보에 더 큰 가중치를 두어 참조하는 메커니즘
- 즉, 현재 정보 처리에 필요한 부분에 선택적으로 집중하도록 하는 메커니즘
. 각 입력 요소 간의 관련성(유사도)을 계산하여,
. 중요한 정보에는 큰 가중치(weight),
. 덜 중요한 정보에는 작은 가중치를 부여함
- 특히,
. 문맥(Context) 내 단어 간 관계,
. 멀리 떨어진 정보 간 연관성(Long-range Dependency)을 효과적으로 반영 가능
- 쉽게,
. 책 읽을 때, 모든 단어를 동일하게 보지 않고,
. 현재 문맥상 중요한 부분에 시선을 집중하는 것
ㅇ 특징
- 중요 정보 선택적 집중 : 현재 처리 대상과 관련성이 높은 입력에 더 집중함
- 가중합(Weighted Sum) 기반 정보 통합 : 중요도에 따라 정보를 결합하여 표현 생성
- 병렬 처리에 유리 : 순차 처리 중심의 RNN 계열 대비, 대규모 병렬 연산에 적합함
- Transformer 구조의 핵심 요소 : 현대 LLM 및 생성형 AI의 핵심 기반 기술
ㅇ 동작 방식
- 현재 처리 대상(Query)과, 각 입력 정보(Key) 간의 관련성을 계산하여,
. 중요도(Attention Weight)를 구한 후,
. 그 가중치를 이용해,
. 정보(Value)를 가중합하여 최종 표현을 생성함
ㅇ 종류
- Self-Attention : 동일 입력 내부 요소들 간 관계를 계산
- Multi-Head Attention : 여러 관점의 Attention을 병렬 수행
- Cross-Attention : 서로 다른 입력 간 관계를 계산