1. 자연어 처리 (NLP, Natural Language Processing) 이란?
ㅇ 컴퓨터가 인간의 자연어를 이해하고 해석하며 생성하는 기술
2. 자연어 처리 모델
ㅇ 자연어 처리 모델
- 입력(자연어)이 특정 범주일 확률을 반환하는 함수
. 입력(자연어) 특성과 작업 목적(감성 분석 등)에 따라 최적이라고 판단되는 것을 선택
ㅇ 자연어 처리 모델 구분
- 전통적인 NLP 모델 (규칙 기반, 기계 학습 알고리즘 사용)
. Hidden Markov Models (HMM) 등
- 딥러닝 기반 NLP 모델
. Transformer 기반의 모델 (BERT, GPT)
.. BERT (Bidirectional Encoder Representations from Transformers)
.. GPT (Generative Pre-trained Transformer)
3. 자연어 정보 검색 및 접근
ㅇ 사용자가 원하는 정보를 효율적으로 탐색하기 위함
- 검색 (Search), 정렬 (Ranking), 검색어 사전 구축 (Query Construction), 색인 (Indexing),
교정, 추천 등
4. 자연어 처리 기초
ㅇ 자연어 (Natural Language) : 사람이 일상적으로 사용하는 언어.
ㅇ 자연어 처리 (NLP) : 인간의 언어를 컴퓨터가 이해하고 처리하게 하는 기술
ㅇ 토큰화 (Tokenization) : 문장을 단어 또는 형태소 단위로 나누는 과정
ㅇ 형태소 (Morpheme) : 의미를 가지는 가장 작은 언어 단위
ㅇ 어간 추출 (Stemming) : 단어의 어미나 접사를 제거해 기본형을 찾는 기법
ㅇ 표제어 추출 (Lemmatization) : 단어를 사전 형태(표제어)로 변환하는 과정
ㅇ 품사 태깅 (POS Tagging) : 각 단어에 품사 정보를 부여하는 작업.
ㅇ 불용어 (Stopword) : 분석에서 의미가 적은 단어 (`은`,`는`,`이`,`가` 등)
ㅇ 어휘집 (Vocabulary) : 모델이 인식할 수 있는 단어들의 집합
ㅇ 코퍼스 (Corpus) : 언어 분석을 위한 대규모 텍스트 데이터 모음
5. 자연어 처리 응용
ㅇ 문장 분류 (텍스트 분류) : 문서를 주제나 감정 등으로 분류
ㅇ 개체명 인식 : 사람, 장소 등 고유명사 식별
ㅇ 기계 번역 : 한 언어의 텍스트를 다른 언어로 번역 (구글 번역 등)
ㅇ 문서 요약 : 긴 텍스트에서 중요한 정보를 추출하여 짧은 요약을 생성
ㅇ 질문 응답 (QA) : 주어진 질문에 대해 관련된 정보를 텍스트에서 추출하여 답변
ㅇ 감정 분석 : 텍스트에서 감정(긍정/중립/부정)을 분석
ㅇ 대화형 AI (Chatbots) : 사용자의 질문에 대해 자연스러운 대화를 이어감