WEEK8 : Word Embedding (word2vec)

machine learning 모델에 넣어 학습하기 위해서는 숫자 형태의 데이터이여야 한다.

그렇다면 자연어의 경우 어떻게 숫자로 바꿔주어야 학습이 잘 이뤄질 수 있을까?

 

• one-hot embedding
• featurized embedding
• word embedding

 

---

첫 번째 시도 : one hot embedding

 

 

전체 vocabulary를 구성하고,

각각의 단어를 각 단어에 해당하는 위치의 원소만 1, 나머지의 원소는 0인 one-hot vector로 표시하는 것이 좋은 방법일까?

 

우선 가장 생각하기 쉬운 방법인 것은 맞다.

하지만 단어간의 관계를 파악하지 못한다는 매우 큰 단점이 존재한다.

 

단어간의 유사성을 판단하기 위해 cosine similarity나 벡터 사이의 거리를 측정하곤 하는데,

서로 다른 두 단어간의 내적을 구하면 0이고, 모든 벡터 사이의 거리 또한 동일하기 때문에

유사성/비유사성을 측정할 수 없다. (너무 큰 단점)

 

---

두 번째 시도 : featurized representation

 

단어의 특징을 구분할만한 항목을 고른 다음에 그 관계를 수치적으로 표현하는 것이다.

gender에 대해서 남성의 경우 음수값을 띄도록, 여성의 경우 양수값을 띄도록 설정하는 것이다.

위의 사진을 보면 man, king과 같은 경우 (-) 값을 가지고, woman, queen과 같은 경우 (+)값을 지닌다.

반면, 성별 개념이 없는 apple, oragne의 경우 0에 가까운 값을 갖는다.

 

위에는 예시를 위해 4가지 항목만 나와있지만, 실제로는 여러개의 기준을 선정해야 한다.

이후 이 기준에 맞게 수치값을 부여하면 각 단어에 대응되는 열벡터가 단어의 embedding vector가 되는 것이다.

 

one-hot vector보다는 단어간의 유사성/비유사성을 포착하기 쉬워졌지만,

각 단어를 이렇게 embedding하는 것은 위의 도표만 보아도 결코 쉬운 문제가 아니라는 것을 알 수 있다.

 

그렇다면 어떻게 embedding 해야 유사성/비유사성을 판단할 수 있으며 + 좋은 embedding 값을 얻을 수 있을까?

 

---

세 번째 시도 : word embedding

 

word embedding을 neural network를 이용하여 학습시키자는 아이디어가 나오기 시작한다.

 

학습해서 얻고싶은 embedding vector는 어떤 벡터인가?

• 수많은 text data 속 단어 사이의 다양한 관계를 반영할 수 있도록
• 단어의 유사성/비유사성을 반영할 수 있도록

이전에 face recognition 문제를 다루면서

동일한 사람을 나타낸 이미지 사이의 거리는 최소화되도록, 각기 다른 사람을 나타낸 이미지 사이의 거리는 최대화되도록

neural network를 학습한다고 했었는데, 이것과 매우 유사한 아이디어이다.

유사한 관계에 있는 단어 사이의 유사성은 최대화되도록, 관련이 없어보이는 단어 사이의 유사성은 최소화되도록 학습하고자 한다.

 

이렇게 학습을 진행하는 word embedding 방법 중 word2vec 방법에 대해 다뤄보고자 한다.

 

---

word2vec

word2vec의 아이디어는 "주변 단어를 보면 그 단어의 의미를 유추할 수 있다"라는 아이디어를 활용한 방법이다.

word2vec에는 두 가지 방법이 있는데,

• CBOW : 주변 단어로 중심 단어를 예측하는 방식
• skip-gram : 중심 단어로 주변 단어를 예측하는 방식

이렇게 2가지가 존재한다.

 

여기서 말하는 주변단어는 중심단어 전/후에 위치한 단어를 말한다.이 "주변"의 정도는 window라는 변수를 통해 조절할 수 있는데,window=2라면 중심단어 전의 2단어 + 중심단어 이후의 2단어를 주변단어로 보는 것이다.

 

이렇게 window 값을 통해 주변단어의 범위를 설정하면 주변단어를 X로, 중심단어를 y로 두고 반복적으로 학습을 수행한다.이 때 학습되는 parameter가 embedding matrix가 되는 것이다.

 

 

 

 

• 주변 단어 K개의 one-hot vector가 모델로 들어간다.
• matrix W와 곱해지면서 K개의 embedding vector가 계산된다.
• K개의 embedding vector를 평균 취하여 h벡터를 만든다.
• h벡터에 matrix W'를 곱하여 y_hat 벡터를 만든다.
• y_hat 벡터와 W의 각 행벡터(=word embedding)를 내적한 것에 softmax 적용하여 cross-entropy loss를 구한다.
• backpropagation하여 행렬 W, W' 를 업데이트 한다.
• 위의 과정을 반복한다.

이러한 과정을 반복적으로 수행하여 얻게된 W, W' 행렬이 embedding matrix가 된다.

일반적으로 W, W' 중 하나의 행렬만 사용하거나 아니면 두 행렬을 통해 구해진  embedding vector의 평균을 최종적인 embedding vector로 사용한다고 한다.

 

위에서 설명한 모델은 주변단어로 중심단어를 예측하는 CBOW 모델에 대해서 설명한 것이고,

중심단어로 주변단어를 예측하는 skip-gram 모델도 이와 유사하다.

다만, input으로 중심단어의 one-hot vector 하나, output으로 K개의 vector가 나온다는 것이 차이점이다.

 

 

 

일반적으로 CBOW 보다는 skip-gram의 성능이 좋기 때문에 skip-gram을 주로 사용한다.

한 단어를 기준으로 보았을 때 CBOW를 사용하면 정답이 되는 경우는 1번만 존재하는 반면,

skip-gram을 사용하면 정답이 되는 경우는 2*W번 존재하기 때문에 더 많은 업데이트 기회가 있다. (W=window 크기)

따라서 말뭉치의 크기가 동일하더라도 학습량이 2*W배 차이나는 효과가 있기 때문에 word2vec를 사용할 경우 CBOW 대신 skip-gram을 사용하는 경우가 많다.