Language Model
Based on the lecture “Text Analytics (2024-1)” by Prof. Je Hyuk Lee, Dept. of Data Science, The Grad. School, Kookmin Univ.
Language Model
- 언어 모형(Language Model) : Word Sequence(문장)에 확률을 할당하여 가장 자연스러운 문장을 탐색하는 모형
Statistical Language Model
SLM
-
SLM(
S
tatisticalL
anguageM
odel) : 조건부 확률을 활용하여 Word Sequence 발생 확률을 부여하는 모형 -
확률 부여 방법
: 말뭉치에서 Word Sequence 가 등장한 횟수
n-Gram
-
n-Gram :
번째 단어를 예측함에 있어 개의 단어만을 활용하는 방법 -
How to Select
: 통상 권장Problem Small Large Sparsity Problem Long-term Dependency - 희소성 문제(Sparsity Problem) : 충분한 데이터를 관측하지 못하여 언어를 정확히 모델링하지 못하는 문제
- 장기 의존성 문제(Long-term Dependency) : 문맥 내에서 멀리 떨어져 있는 단어들 간의 관계를 처리하는 문제
Neural Networks based Langauge Model
- 통계적 방법론의 한계점과 그 대안
- NNLM(
N
euralN
etworksL
angaugeM
odel) : 임베딩을 활용한 희소성 문제 보완 - RNNLM(
R
ecurrentN
euralN
etworksL
angaugeM
odel) : RNN 계열 레이어를 활용한 장기 의존성 문제 보완
- NNLM(
-
How to Generate a Context Vector for
- NNLM :
번째까지 등장한 단어 벡터들의 결합(Concatenation)으로 생성 - RNNLM :
번째까지 등장한 단어 벡터들을 RNN 계열 레이어에 순차 입력하여 생성
- NNLM :
NNLM
INPUT
→PROJECTION
- Projection :
- Concatenation :
- Projection :
-
PRJECTION
→HIDDEN
-
HIDDEN
→OUTPUT
RNNLM
-
INPUT
→PROJECTION
-
PRJECTION
→HIDDEN
-
HIDDEN
→OUTPUT
Metric
-
PPL(
P
erP
L
exity) : 언어 모형의 성능 평가 지표 -
해석 : 선택 가능한 경우의 수를 의미하는 분기 계수(Branching Factor)로서, 특정 시점마다 평균적으로 고민하는 선택지 수
This post is licensed under
CC BY 4.0
by the author.