WEEK4 : batch normalization (배치 정규화)

<content>

• batch normalization의 목적
• batch normalization을 사용하면 학습이 잘 되는 이유
• batch normalization 방법
• mini-batch에서의 batch normalization
• test-time에서의 batch normalization
• batch normalization 사용하면 bias는 필요없다

---

1. 그 유명한 batch normalization, 왜 하는걸까?

• 학습을 돕는다.
• 입력 정규화(input normalization)와 다르게, 중간의 hidden node까지 정규화를 할 수 있다.

---

2. BN을 사용하면 왜 학습이 잘 되는가?

 

• batch normalization을 이용하여 layer의 input scale를 유사하게 맞춰주면 zig-zag식의 parameter update가 발생하지 않기 때문에 빠른 학습이 가능하다
• covariate shift의 문제를 해결하여 다른 층과 독립적으로 학습이 이뤄지게 한다.

 

+ 추가설명

• batch normalization을 이용하여 layer의 input scale를 유사하게 맞춰주면 zig-zag식의 parameter update가 발생하지 않기 때문에 빠른 학습이 가능하다.
  
  • 이전에 학습을 더 빠르게 하기 위해 입력을 normalization 해준 적이 있었다.
    • 입력 변수의 scale이 다르면 weight의 scale 또한 달라지기 때문에 zig-zag 가중치 업데이트가 발생하기 쉽다.
    • zig-zag 가중치 업데이트는 수렴 속도를 늦추기 때문에 학습에 더 오랜 시간이 걸리게 되는 것이다.
    • 따라서 scaling을 통해 입력변수의 scale을 맞춰주면 zig-zag 가중치 업데이트를 막아 학습 효율이 높아진다.
  • 입력 뿐 아니라, hidden node까지 normalization해주면 더 빠르게 train되지 않을까? 하는 생각에서 batch norm이 탄생하였다.
    
    • batch normalization은 linear 통과한 후, activation function 적용하기 전 수행한다. (linear - BN - activation)

출처 : https://www.jeremyjordan.me/batch-normalization/

 

• 또한 covariate shift의 문제를 해결하여 다른 층과 독립적으로 학습이 이뤄지게 한다.
  • 중간 layer에서는 이전 layer에서의 출력을 입력으로 빋아 정답을 맞추는 식으로 학습한다.
  • 하지만 중간 layer에서 입력으로 받는 값은 parameter가 update되면서 항상 달라진다.
    즉 covariate shift 문제가 발생하는 것이다.
  • 이러한 경우 BN을 사용하면 입력으로 받는 값의 평균과 분산 정도는 유지할 수 있기 때문에 학습에 도움이 된다.
    

---

3. batch normalization, 어떻게 하는 걸까?

 

• 1. 평균을 구한다
  • $$ \mu = \frac{1}{m} \sum_i z^{[l](i)} $$
• 2. 분산을 구한다.
  • $$ \sigma^2 = \frac{1}{m} \sum_i (z^{[l](i)}-\mu)^2$$
• 3. 평균 0, 표준편차 1이 되도록 정규화 해준다
  • $$ z_{norm}^{[l](i)} = \frac{z^{[l](i)}-\mu}{\sqrt{\sigma^2+\epsilon}} $$
• 4. gamma와 beta parameter를 통해 적합한 분포로 변경 (layer마다 적합한 distribution이 다를 것이라는 가설)
  • $$ \tilde{z}^{[l](i)} = \gamma z_{norm}^{[l](i)} + \beta $$

 

• * 첨자 [l](i)의 의미는 l-th layer의 i번째 값이다. (i번째 값은 단일값일수도, 벡터일수도 있다)
• 여기서 gamma와 beta는 학습되는 파라미터이다. (하이퍼파라미터가 아니다!)
• 이와 같은 batch normalization은 linear 통과한 후 activation function 통과하기 전 값에 적용되어진다.
  
  

 

---

4. mini batch에서는 batch normalization이 어떻게 이뤄지는가?

 

• batch별로 계산된 평균과 표준편차 정보 이용하여 batch normalization이 수행된다.
  
  

---

•  

5. test time에서는 BN이 어떻게 적용되는가?

 

• M, sigma의 경우 mini-batch에서 계산된 M, sigma의 expnentially weighted average를 이용하여 추정된 값을 사용한다.
• gamma와 beta는 train에서 학습된 값을 이용한다.

 

---

6. batch normalization을 적용하면 beta parameter는 필요 없다.

 

• BN 수행하며 평균 빼주는 과정에서 beta의 효과가 사라진다.
• 따라서 BN을 사용하는 경우에 beta(=bias)는 불필요한 parameter가 된다.