WEEK4 : Optimizer (최적화 알고리즘)

<content>

• gradient descent
• momentum
• RMSProp
• Adam

---

 

 

https://www.slideshare.net/yongho/ss-79607172

 

1. Gradient Descent

Gradient Descent : loss를 parameter에 대해 미분한 값을 이용하여 parameter를 갱신하자

 

• batch gradient descent : 전체 데이터를 한 번에 학습
  • 모든 자료를 다 검토해서 내 위치의 기울기를 계산해서 갈 방향을 찾겠다 
  • iteration 1번에 parameter update 1번 😥 -> 시간이 오래 걸린다는 단점
  • vectorize 가능하다 🙂
    
    
• mini batch gradient descent : mini batch 단위로 학습
  • iteration 1번에 여러 번의 parameter update 🙂
  • vectorize 가능하다 🙂
    
    
• stochastic gradient descent : 데이터 하나 단위로 학습
  • vectorize 불가능하다 😥
  • 지역적인 특징을 민감하게 반영한다
    
    
• 그렇다면 어떠한 방식을 사용해야 할까?
  • data의 크기가 작다면 (2,000건 이하) -> batch gradient descent 사용
  • data의 크기가 크다면 -> mini batch gradient descent
    • 일반적으로 mini batch의 크기는 64, 128, 256, 512 중 선택한다.
    • minibatch 속 모든 데이터가 CPU 혹은 GPU 메모리에 올라가도록 해야 한다.
  • 하지만 더 좋은 optimizer가 존재한다! 더 알아보자

---

✔ Momentum optimizer에 들어가기 전, 알아두면 좋을 지식! 

 

• 1. exponentially weighted average (지수가중평균)
  
  • $$ V_t = \beta V_{t-1}+(1-\beta)\theta_{t} $$
    • V_t는 누적된 정보 (가중평균)
    • theta_t는 현재 시점의 정보
  • V_t는 1/(1-beta) 시점동안의 평균 정보를 가지고 있다고 보면 된다.
    • beta = 0.9 -> 지난 10일 동안의 가중평균
    • beta = 0.99 -> 지난 100일 동안의 가중평균
  • beta가 커질수록 어떤 효과가 있는가?
    • 그래프가 smooth 해지는 효과가 있고
    • 최근의 경향을 늦게 반영하는 효과가 있다(shift to left)
      
      
• 2. bias correction
  • 초기 V_0을 0으로 설정하면 초기 시점에는 현재 데이터의 경향을 잘 반영하지 못 한다. 이 문제를 해결하기 위한 방법이 bias correction이다.
  • $$ V_t = \frac{V_t}{1-\beta^{t}} $$
    • 초기에는 V_t를 조금 더 키워주는 효과가 있다.
    • 하지만 t가 커질수록 beta_t는 0에 수렴하고, 따라서 V_t에 미치는 영향력이 거의 없다.

---

 

2. Mometum

 

momentum : 아까 내려오던 관성 방향으로 가자! (방향 조절)

https://www.slideshare.net/yongho/ss-79607172

• $$ VdW = \beta VdW+(1-\beta)dW $$
• $$ Vdb = \beta Vdb + (1-\beta)db $$
• $$ W := W-\alpha VdW $$
• $$ b := b-\alpha Vdb $$
• 일반적으로 beta는 0.9로 설정한다. (이전 10 시점의 정보를 활용한다고 보면 된다)
• 본래 W := W-alpha*dW, b := b-alpha*db를 해주는 것과 어떠한 차이가 있는가?
• dW 대신 VdW, db 대신 Vdb를 사용하여 이전 gradient 정보를 고려해주는 것이다.
  (여기서 VdW, Vdb는 gradient의 exponentially weighted average이다. 이것이 우리가 위에서 본 개념을 다뤘던 이유이다.
• 즉 현재의 gradient가 0에 가깝더라도 이전의 gradient 정보를 활용하여 더 나아갈 수 있는 것이다.
• 간단히 요약하면, 아까 내려오던 관성 방향으로 가자! 라는 아이디어이다.
  
  

---

3. RMSProp

RMSProp(Root Mean Square PROPagation) : 상황에 따라 step size 조절하자! (스텝 조절) 

https://www.slideshare.net/yongho/ss-79607172

• $$ SdW = \beta SdW + (1-\beta)dW^2 $$
• $$ Sdb = \beta Sdb + (1-\beta)db^2 $$
• $$ W := W - \alpha \frac{dW}{\sqrt{SdW}+\epsilon} $$
• $$ b := b - \alpha \frac{db}{\sqrt{Sdb}+\epsilon} $$
• 위의 제곱은 element-wise product이다.
• RMSProp에서 beta는 0.999를 많이 사용한다.
• epsilon을 더해주는 이유는 SdW, Sdb가 0인 상황을 방지하기 위함이다.
• 본래 W := W-alpha*dW, b := b-alpha*db를 해주는 것과 어떠한 차이가 있는가?
• 보면 dW를 sqrt(SdW)로 나눠주고 있다.
  이것의 의미는 dW의 값이 크다면 보폭을 작게, dW의 값이 작다면 보폭을 크게 해주겠다는 의미이다.
• 즉 매 순간 동일한 보폭 사이즈를 유지하는 것이 아니라, gradient의 값에 따라 보폭 사이즈를 다르게 조절하겠다는 의미이다. (이 때도 역시 SdW, Sdb는 exponentially weighted average이다)
  
  
  

---

4. Adam(ADAptive Momentum estimation) : momentum + RMSProp

Adam(Adaptive momentum estimation) : 방향도, 스텝사이즈도 적절히 조절하자!

 

https://www.slideshare.net/yongho/ss-79607172

• $$ VdW = \beta_1 VdW+(1-\beta_1)dW $$
• $$ Vdb = \beta_1 Vdb + (1-\beta_1)db $$
• $$ SdW = \beta_2 SdW + (1-\beta_2)dW^2 $$
• $$ Sdb = \beta_2 Sdb + (1-\beta_2)db^2 $$

--- bias correction---

• $$ VdW = \frac{VdW}{1-beta_1^t} $$
• $$ Vdb = \frac{Vdb}{1-beta_1^t} $$
• $$ SdW = \frac{SdW}{1-beta_2^t} $$
• $$ Sdb = \frac{Sdb}{1-beta_2^t} $$

-- parameter update --

• $$ W := W - \alpha \frac{VdW}{\sqrt{SdW}+\epsilon} $$
• $$ b := b - \alpha \frac{Vdb}{\sqrt{Sdb}+\epsilon} $$
• alpha는 상황에 따라 적절히 조절되어야 하고,
• 일반적으로 beta_1은 0.9, beta_2는 0.999, epsilon은 10-8으로 설정한다.
• 방향을 조절하는 momentum + 스텝 사이즈를 조절하는 RMSProp 모두 사용한 optimizer이다.