WEEK3 : regularization (정규화)

<content>

• L2 regularization
• dropout
• data augmentation
• early stopping

---

 

정규화 (variance를 줄이기 위한 방법)

 

1. L2 regularization

 

L2 regularization이란 무엇인가?

• loss function에 W 행렬의 norm을 더해주어 W 행렬의 크기를 제약함으로써 overfitting을 막을 수 있다.
• W의 각 요소가 커지면 이 값에 따라 결과가 크게 달라지며 overfitting이 발생하기 때문에
  W의 크기를 제약함으로써 정규화 효과를 얻을 수 있다.
• $$ J = \frac{1}{m} \sum_{i=1}^{m} L(\hat{y^{(i)}}, y^{(i)})+\frac{\lambda}{2m} \sum_{l=1}^{L} ||W^{[l]}||_F^{2}  $$
• $$ ||W^{[l]}||_F^{2} = \sum_{i=1}^{n^{[l]}} \sum_{j=1}^{n^{[l-1]}}w_{ij}^{[l]} $$
• * 여기서 W^[l] 은 l번째 layer에서의 weight matrix를 의미한다.
• * 여기서 n^[l]은 l번째 layer에서의 노드의 수를 의미한다.
• * 여기서 m은 데이터의 수를 의미한다.
• 위의 식과 같이 loss에 weight matrix의 norm을 더해준 것을 최종적인 loss로 사용한다.

 

 

backpropagation에서는 어떠한 일이 일어나는가?

• $$ \frac{\partial J}{\partial W^{[l]}} = \frac{1}{m} \sum_{i=1}^{m} \frac{\partial}{\W^{[l]}}L(\hat y^{(i)}, y^{(i)}) + \frac{\lambda}{m}W^{[l]}  $$
• $$ W^{[l]} \leftarrow W^{[l]}-\alpha \frac{\partial J}{\partial W^{[l]}}    
  =W^{[l]} - \alpha \frac{1}{m} \sum_{i=1}^{m} \frac{\partial}{\W^{[l]}}L(\hat y^{(i)}, y^{(i)})  - \alpha \frac{\lambda}{m}W^{[l]} $$
• 다음과 같이 계산되며, weight matrix W를 업데이트할 때 그 크기를 더 작게 만든다.

 

그렇다면 loss에 weight matrix의 norm을 더해주는 것이 왜 overfitting을 막는 효과가 있는 것인가?

• W가 커지는 것을 막아 local noise에 덜 민감하도록 해주기 때문이다.
• W가 크다면 input의 사소한 차이가 민감하게 반영되어 예측값에도 영향을 미치기 때문이다.

 

• activation function 관점에서 정규화의 효과를 설명하면,
• $$ z^{[l]}= w^{[l]}a^{[l-1]}+b^{[l]} $$
• W^[l]이 작아질수록 z^[l] 또한 0에 가까워지게 된다.
• 이 때 0 근처에서 선형형태를 띄는 sigmoid, tanh를 활성화함수로 사용했다면,
• 비선형 의사결정이 일어나지 않고, 활성화함수를 통과해도 선형 layer만 쌓는 꼴이 되어 overfitting이 방지되는 효과가 있다.

 

정규화의 정도는 어떻게 조절하는가?

• lambda값을 통해 조절이 가능하다.
• lambda가 크다면 weight matrix를 더 작게 만들어주는 효과가 있기 때문에 정규화의 강도가 세다.
  (underfitting의 위험 존재)
• lambda가 작다면 weight matrix를 덜 작게 만들어주는 효과가 있기 때문에 정규화의 강도가 약하다.
  (overfitting의 위험 존재)
• 따라서 적절한 labmda 값의 설정이 중요하다.

 

---

2. dropout

 

dropout 이란?

• 일정 확률로 노드를 끄는 것이다.
• 여기서 노드를 끈다는 것은 activation function을 통과한 값을 0으로 넘겨주는 것이다.
• dropout의 경우, activation function을 통과한 뒤 적용해주는 것이 일반적이다.
• dropout 중 inverted dropout이 주로 사용된다.
• inverted dropout의 경우 dropout 후 keep_prop으로 값을 나눠주는데 (=keep_prop은 0~1 사이의 값이므로, keep_prop으로 나눠주는 것은 값을 커지게 하는 효과를 준다), 그 이유는 dropout을 진행한 후 activation function 통과한 값들의 기댓값을 유지하기 위함이다. 나눠주지 않으면 다음 layer를 통과하면서 값이 점점 작아지기 때문이다.
• train 과정에서 dropout 확률로 나눠주지 않는 경우 test 시 dropout을 사용하지 않기 때문에 활성화함수 통과해서 나온 값을 scaling해주어야 한다. 하지만 inverted dropout을 사용하면 이러한 과정이 필요없다.

 

dropout 사용하는 이유?

• dropout을 적용하면 특정 node가 꺼지더라도 좋은 결과를 내기 위한 학습을 진행한다.
  이 과정에서 특정 node에 의존하는 현상을 줄이는 방향으로 학습이 이뤄지며 overfitting을 막을 수 있게 된다.
• 즉 하나의 노드에 가중치가 집중되는 것이 아닌, 가중치를 여러 노드끼리 고루 나눠가지게 되어 overfitting을 막을 수 있게 된다.

 

dropout 사용하는 시점?

• 모든 neural network에 dropout을 적용하는 것이 아니다! overfitting 되는 경우 적용하는 것이다.
• computer vision에서는 dropout을 거의 필수적으로 사용하는데,
  computer vision에서는 차원 대비 데이터의 수가 적은 경우가 많아 높은 확률로 overfitting이 발생하기 때문이다.
• 모든 layer에 dropout을 반드시 적용할 필요는 없다. 
  overfitting이 걱정되는 layer, 즉 W 행렬의 크기가 큰 layer에서 높은 비율의 dropout을 적용하면 좋다.

 

 

---

3. data augmentation

• 새로운 데이터를 추가하는 것 보다는 학습 효과가 낮지만, 그래도 무료로 데이터를 늘릴 수 있는 방법이다.
• 뒤집기, 자르기 등등을 수행할 수 있는데 데이터 특징에 따라 잘 수행해야 한다!
  • 예를 들어, 숫자 데이터의 경우 좌우반전을 하면 오히려 학습에 방해되는 데이터를 만드는 것이다.

 

---

4. early stopping

• 학습을 진행하면서 W 행렬의 각 요소가 커지게 된다.
• 전체 한 번의 학습을 진행하고, W 행렬의 크기가 절반 정도가 되는 지점에서의 값을 취하는 방식이다.

 

• 혹은 epoch에 따라 validation loss가 증가하면 학습을 중단하는 기법을 의미하기도 한다.

https://www.commonlounge.com/discussion/14724b5b179f4a6eb2e2fb937c749eb5