WEEK8 : Attention

Attention에 대해 정말 잘 정리되어 있다고 생각한 글

wikidocs.net/22893

위키독스

---

1. attention의 필요성

 

seq2seq(=encoder decoder) 모델은

encoder에서의 정보를 context vector라는 하나의 벡터에 압축해서 전달하고,

decoder에서는 context vector 하나를 이용해 출력 sequence를 만들어낸다.

 

하나의 벡터에 encoder의 모든 내용을 담아야 하는데, 이 과정에서 정보 손실이 발생하게 된다.

이러한 문제를 해결하고자 등장한 모델이 Attention이다.

 

http://incredible.ai/nlp/2020/02/20/Sequence-To-Sequence-with-Attention/

---

2. attention

 

decoder의 매 step마다 encoder의 어느 단어에 주목해야 하는지 알려주자

이것이 attention의 아이디어이다.

 

 

---

Attention value를 구하는 방법

Attention(Q, K, V) = Attention Value

 

1. 어텐션 함수는 주어진 query에 대해서 key와의 유사도를 구하고,
2. key와 mapping되어 있는 value에 반영해준다.
3. 그리고 query와의 유사도가 반영되어 있는 value를 모두 더해서 리턴한다.
4. 여기서 리턴된 값을 attention value라고 한다.

 

query, key, value가 의미하는 바

• query : t시점에서의 decoder의 hidden state
• key : 모든 시점에서의 encoder의 hidden state
• value : 모든 시점에서의 encoder의 hidden state

 

 

Attention 계산 과정

 

 

1. attention score 구하기
   • t시점의 decoder의 hidden state와 모든 시점의 encoder의 hidden state를 내적하여 attention score 구한다.
     
     
2. attention distribution 구하기
   • attention score에 softmax 적용하여 attention distribution 구한다.
     
     
3. attention value 구하기
   • attention distribution과 encoder의 hidden state를 곱하고, 합하여 attention value를 구한다.
     
     
4. t+1 시점의 decoder hidden state 구하기
   • t시점의 decoder hidden state와 attention value를 이용하여 t+1시점의 decoder hidden state 구하기