WEEK3 : normalizing input (입력 정규화)

normalizing inputs

 

• 입력을 normalizing 해주면 빠른 학습이 이루어진다.
• 만약 입력변수의 scaling이 각기 다르다면 대응되는  ⭐weight의 scaling 또한 상이하다.
  이러한 상태에서 학습을 진행하면 ⭐zig-zag 식의 가중치 업데이트가 발생하여 수렴하는 데 시간이 더 걸리게 된다.
• 따라서 scaling을 통해 모든 변수의 분포를 유사하게 맞춰준다면 수렴하는 데 걸리는 시간을 줄일 수 있다.

 

출처 : https://www.jeremyjordan.me/batch-normalization/