언어 모델(Language Model): 통계적 언어 모델
언어 모델(Language Model, LM) 언어를 이루는 구성 요소(글자, 형태소, 단어, 단어열 혹은 문장, 문단 등)를 문맥으로 하여 이를 바탕으로 다음 구성 요소를 예측하거나 생성하는 모델 예시: 자동완성, 문장생성, 대화시스템, 음성인식, 기계번역, 문서요약 통계적 언어 모델(Statistical Language Model, SLM) 딥러닝 언어 모델(Deep Neural Network Lanuage Model, DNN LM) 통계적 언어 모델 주어진 문서(코퍼스) 내 단어열(혹은 문장)의 등장 확률을 기반으로 각 단어의 조합을 예측하는 전통적인 언어 모델 실제로 많이 사용하는 단어열(문장)의 확률 분포를 정확하게 근사하는 것이 모델의 목표 조건부 확률과 언어 모델 조건부 확률 P(B|A): ..
2024. 4. 12.
