WEEK5 : CNN (convolutional neural network)

CNN (convolutional neural network)

• convolutioanl layer
• pooling layer
• fully connected layer

---

너무 잘 정리된 글 ...

taewan.kim/post/cnn/

CNN, Convolutional Neural Network 요약

---

주요 용어

• convolution
• channel
• filter = kernel
• stride
• padding
• feature map = activation map
• pooling layer

---

convolutional layer

• FC 말고, CONV LAYER 사용하는 이유
  • parameter sharing
    • 이미지의 특정 부분에서 유의미한 filter가 이미지의 다른 부분에서도 사용될 수 있다.
    • 이미지의 공간정보를 유지할 수 있다.
  • sparsity of connections
    • 각각의 output value는 적은 수의 input에만 의존하기 때문에 parameter의 수를 줄일 수 있다.
• filter
  • 이제는 filter를 직접 디자인할 필요가 없다. CNN에서 filter는 learnable parameter이다.
    • 이전에는 vertical edge detector, horizontal edge detector 등을 직접 만들기도 하였으나,
      이제는 그럴 필요가 없다.
  • filter의 크기는 3*3*channel, 5*5*channel을 주로 사용한다.
• padding
  • 이미지의 가장 자리에 특정 값으로 채워 넣는 것을 의미한다. 주로 0으로 채워넣는다.
  • padding을 사용하는 목적
    • layer를 통과하며 이미지의 크기가 줄어드는 것을 막기 위하여
    • 가장자리에 있는 정보를 연산에 더 반영하기 위하여
  • padding의 종류
    • valid padding : no padding
    • same padding : input size와 output size가 동일하도록 padding
• stride
  • 어떠한 간격으로 이미지를 순회할 것인지
    • stride = 1 : 필터를 한 칸씩 움직이면서 convolution 연산 수행
    • stride = 2 : 필터를 두 칸씩 움직이면서 convolution 연산 수행
• 차원
  • l layer에서 convolutional layer를 적용한다고 하자.
    • F^[l] : filter size
    • P^[l] : padding size
    • S^[l] : stride size
    • C^[l] : number of filters
    • input : H^[l-1]*W^[l-1]*C^[l-1]
    • output : H^[l]*W^[l]*C^[l]
    • filter: F^[l]*F^[l]*C^[l-1]이 C^[l]개

• $$ H^{[l]} = \lfloor\frac{H^{[l-1]}+2P^{[l]}-F^{[l]}}{S^{[l]}}+1\rfloor $$
• $$ W^{[l]} = \lfloor\frac{W^{[l-1]}+2P^{[l]}-F^{[l]}}{S^{[l]}}+1\rfloor $$
• $$ num-of-parameter = (F^{[l]}*F^{[l]}*C^{[l-1]}+1)*C^{[l]} $$

---

pooling layer

• 학습되는 파라미터 존재하지 않는다 (parameter = 0)
• input, output channel이 변하지 않는다.
• pooling 
  • max pooling
  • average pooling
• 차원
  • F : filter size
  • S : stride
  • IH : input height, IW : input width, IC : input channel
  • OH : output height, OW : output width, OC : output channel
  • OH = floor( (IH-F)/S+1 )
  • OW = floor( (IW-F)/S+1 )
  • IC = OC

---

fully connected layer

• input을 flatten한 뒤, FC 적용
• 마지막 FC layer의 unit의 수는 class의 수와 일치해야 한다.