WEEK6 : ResNet

ResNet

• ResNet이 필요한 이유
• ResNet의 구조
• ResNet을 사용하면 성능이 좋아질 수 있는 이유
• ResNet 최종

---

ResNet

 

1. ResNet이 필요한 이유

이전의 많은 연구들에서 모델의 layer가 깊어질수록 성능이 떨어지는 현상이 발생함을 밝혀냈다.

이것의 원인은 vanishing gradient / exploding gradient 문제 때문에 학습이 잘 이뤄지지 않기 때문이다.

출처 : https://arxiv.org/pdf/1512.03385.pdf

이것은 overfitting과는 다른 "degradation" 문제이다.

overfitting이 일어났다면 20-layer보다 56-layer의 training error가 더 낮아야하지만,

위의 사진을 보면 tranining error, test error 모두 20-layer보다 56-layer에서 높기 때문이다.

 

층이 깊어질수록 학습이 제대로 진행되지 않는 degradation 문제를 해결할 수 있는 방안으로 ResNet이 제안되었다.

---

2. ResNet의 구조

출처 : https://arxiv.org/pdf/1512.03385.pdf

 

$$ z^{[l+1]} = W^{[l+1]}a^{[l]}+b^{[l+1]} $$

$$ a^{[l+1]} = relu(z^{[l+1]}) $$

$$ z^{[l+2]} = W^{[l+2]}a^{[l+1]}+b^{[l+2]} $$

$$ a^{[l+2]} = relu(z^{[l+2]}+a^{[l]}) $$

 

 

 

 

---

3. ResNet을 사용하면 성능이 좋아질 수 있는 이유

 

• ResNet을 사용해도 성능이 하락하지는 않는다. 왜냐하면 identity mapping을 학습하는 것은 매우 쉽기 때문이다.
  • $$ a^{[l+2]} = relu(z^{[l+2]}+a^{[l]}) $$
  • $$ a^{[l+2]} = relu(W^{[l+2]}a^{[l+1]}+b^{[l+2]}+a^{[l]}) $$
  • W, b가 0이기만 하면 a^[l+2] = a^[l]이 된다.
  • 이것이 큰 신경망의 중간이나 끝 어디인가에 더해도 수행능력이 저해되지 않는 이유이다.
  • 이 layer들이 항등함수를 학습하는 것이 쉽기 때문에 수행 능력이 저해되지 않고, 심지어 더 잘 수행할 수 있따는 것을 보장한다.

• 잠깐, 그렇다면 그냥 일반 network를 사용하면 identity mapping을 학습하기가 어려운가?
  • $$ z^{[l+1]} = W^{[l+1]}a^{[l]}+b^{[l+1]} $$
  • $$ a^{[l+1]} = relu(z^{[l+1]}) $$
  • $$ z^{[l+2]} = W^{[l+2]}a^{[l+1]}+b^{[l+2]} $$
  • $$ a^{[l+2]} = relu(z^{[l+2]}) $$
  • 에서 a^[l+2] = a^[l]이 되도록 W, b들을 학습하는 것은 어려운 일이다.
  • residual block 없이 항등함수를 학습하는 것은 어려운 일이기에, 층을 쌓음에도 불구하고 성능이 나빠지는 이유이다.

• ResNet을 사용하면 성능이 향상될 수 있는 여지가 존재한다.
  • 우리의 목표는 "층을 쌓아도 수행능력을 떨어트리지 말자!"가 아니라,
    "층을 쌓아도 수행능력을 향상시키자!"이다.
  • residual block을 추가해서 층을 쌓을 때, residual block의 unit가 유용한 것을 학습한다면,
    위에서 언급한 항등함수를 학습하는 것보다 훨씬 좋은 결과를 낼 수 있을 것이다.

 

+) 

• $$ a^{[l+2]} = relu(z^{[l+2]}+a^{[l]}) $$
• 여기서 z^[l+2]와 a^[l]의 크기가 동일하지 않을 경우에는

 

• $$ a^{[l+2]} = relu(z^{[l+2]}+Wa^{[l]}) $$
• 아래와 같이 W를 곱해주어 동일한 shape으로 변경해주면 된다.
  • 여기서 W는 parameter matrix일수도 있고,
  • a^[l]에 zero padding을 더해주는 역할을 수행해줄 수도 있다.

 

 

---

4. ResNet

 

https://arxiv.org/pdf/1512.03385.pdf

 

 

3 layer 뒤의 feature map과 x의 shape가 동일한 경우 다음과 같이 skip connection 적용

 

 

3 layer 뒤의 feature map과 x의 shape가 다를 경우 다음과 같이 skip connection 적용