Attention   어텐션

(2026-02-08)

Self-Attention


1. 어텐션 (Attention)  :  (주의 메커니즘)

  ㅇ 텍스트 내 문맥을 인코딩하는 메커니즘 중 하나

  ㅇ 입력 데이터 전체 중에, 현재 처리에 중요한 정보에 더 큰 가중치를 두어 참조하는 메커니즘
     - 즉, 현재 정보 처리에 필요한 부분에 선택적으로 집중하도록 하는 메커니즘
        . 각 입력 요소 간의 관련성(유사도)을 계산하여,
        . 중요한 정보에는 큰 가중치(weight),
        . 덜 중요한 정보에는 작은 가중치를 부여함
     - 특히,
        . 문맥(Context) 내 단어 간 관계,
        . 멀리 떨어진 정보 간 연관성(Long-range Dependency)을 효과적으로 반영 가능
     - 쉽게,
        . 책 읽을 때, 모든 단어를 동일하게 보지 않고,
        . 현재 문맥상 중요한 부분에 시선을 집중하는 것


2. 어텐션의 특징

  ㅇ 중요 정보 선택적 집중  :  현재 처리 대상과 관련성이 높은 입력에 더 집중함
  ㅇ 가중합(Weighted Sum) 기반 정보 통합  :  중요도에 따라 정보를 결합하여 표현 생성
  ㅇ 병렬 처리에 유리  :  순차 처리 중심의 RNN 계열 대비, 대규모 병렬 연산에 적합함
  ㅇ Transformer 구조의 핵심 요소  :  현대 LLM 및 생성형 AI의 핵심 기반 기술


3. 어텐션의 동작 방식

  ㅇ 현재 처리 대상(Query)과, 각 입력 정보(Key) 간의 관련성을 계산하여,
     - 중요도(Attention Weight)를 구한 후,
     - 그 가중치를 이용해,
     - 정보(Value)를 가중합하여 최종 표현을 생성함


4. 어텐션의 종류

  ㅇ Self-Attention  :  동일 입력 내부 요소들 간 관계를 계산
  ㅇ Multi-Head Attention  :  여러 관점의 Attention을 병렬 수행
  ㅇ Cross-Attention  :  서로 다른 입력 간 관계를 계산

▷ LLM, NLP
1. 자연어 처리 (NLP)   2. 자연어 처리 용어   3. N-gram   4. 편집 거리   5. 언어 모델   6. 대규모 언어 모델 (LLM)   7. 토큰화   8. 임베딩   9. 어텐션   10. 트랜스포머   11. 검색 증강 생성 (RAG)  
용어해설 종합 (단일 페이지 형태)

"본 웹사이트 내 모든 저작물은 원출처를 밝히는 한 자유롭게 사용(상업화포함) 가능합니다"
     [정보통신기술용어해설]