WEEK6 : Object Detection (2)

 

 

• Object Detection (1): hyoeun-log.tistory.com/entry/WEEK6-Object-Detection-1 
  • classification / object localization / object detection
  • object localization
  • landmark detection

• Object Detection (2): hyoeun-log.tistory.com/entry/WEEK6-Object-Detection-2
  • sliding window detection
  • convolutional implementation of sliding windows
  • bounding box prediction
  • IOU (intersection of union)
  • non-max suppression
  • anchor boxes
  • YOLO

 

 

---

4. sliding window detection

 

 

자동차 detection을 수행하고 싶다면,

먼저 (1) 자동차가 존재하는 이미지와 (2) 자동차가 존재하지 않는 이미지를 가지고 classification을 수행하는 CNN을 학습한다.

이 때 다양한 filter를 사용하여 여러개의 모델을 학습한다.

 

 

그리고 다양한 scale의 filter를 이용해 학습한 "모델"을 이미지의 왼쪽 위부터 오른쪽 아래까지 sliding하며

이미지의 각 부분에서 자동차가 존재하는지 예측값을 구한다.

그리고 이 결과를 종합하여 object detection을 수행한다.

 

 

하지만 sliding window 방식으로 object detection을 수행하는 것은 계산비용이 매우 크다.

filter의 개수가 많을수록 filter의 크기가 작을수록 정확도는 높아지지만, 계산비용이 커지고

filter의 개수가 적을수록 filter의 크기가 작을수록 계산비용은 낮아지지만, 정확도 또한 낮아지게 된다.

 

이러한 문제점을 아래의 convolutional neural network를 이용해 해결하고자 한다.

 

---

5. convolutional implementation of sliding windows

 

object detection에서는 FC layer를 사용한 위의 모델 대신, conv layer를 사용한 아래의 모델을 사용한다.

FC와 달리 5*5, 1*1 conv layer를 통과시켰지만 수학적으로는 동일한 연산을 수행한다.

 

 

그렇다면 왜 굳이 FC layer를 conv layer로 바꾸어 사용하는가?

모델의 output shape를 확인하면 그 목적을 파악할 수 있다.

우리가 원하는 모델의 output은 8*8*4와 같은 형태이기 때문에 FC가 아닌 conv layer를 사용하는 것이다.

8*8*4 output이 어떠한 의미인지는 아래에서 다루도록 한다.

 

(추가적으로 여기에서 output node의 수가 4개인 이유는 [보행자, 자동차, 오토바이, 배경] object를 대상으로 하기 때문이다.)

 

 

 

 

input image(16*16*3)의 파란색 부분이 여러개의 conv layer를 지나면 output(2*2*4)의 파란색 네모 한 칸에 대응된다.

만약 output의 파란색 부분에서  [보행자, 자동차, 오토바이, 배경] = [0.9, 0.05, 0.05, 0] 이런식의 결과가 나온다면

input image의 파란색 부분에 "보행자" object가 존재한다고 판단하는 것이다.

 

이렇게 naive sliding window 방식이 아닌 conv layer를 활용한 sliding window를 활용하면,

전체 이미지의 독립적인 부분 이미지를 모델에 넣고 여러번의 forward를 진행하는 것이 아니라

전체 이미지를 모델에 넣어 한 번의 forward만 진행하면 된다. (YOLO에서 사용하는 방법)

 

 

Photo by cristian castillo on Unsplash

위의 모델을 사용하여 bounding box를 예측하게 되면

우리가 원하는 빨간색의 bounding box가 아니라, 파란색의 bounding box를 예측하게 된다.

즉 이 방법은 bounding box 위치가 정확하지 않다는 단점이 있다.

 

보다 정확히 bounding box를 예측할 수 있는 방법이 없을까? 그 방법을 바로 아래에서 다뤄보도록 한다.

 

---

6. bounding box prediction

 

그 방법은 바로 전체 이미지를 S*S grid로 나누어 labeling 수행하는 것이다

그리고 모델의 결과로 바운딩 박스와 클래스의 확률을 예측하도록 학습하는 것이다.

• 이 때 각 grid cell은 y=[p_c, b_x, b_y, b_h, b_w, c1, c2, ..., cn] 벡터를 갖는다.
• 만약 grid cell에 object의 중심점이 위치하면 그 cell에 객체가 존재한다고 판단 (p_c = 1)
  • 유의미한 b_x, b_y, b_h, b_w 값을 정답으로 주어야 한다.
  • b_x, b_y는 각 cell의 왼쪽 상단을 (0, 0), 오른쪽 하단을 (1, 1)으로 보았을 때 상대적인 위치이다.
  • b_h, b_w는 grid cell의 hegith, width 대비 몇 배인지를 기준으로 상대적인 크기가 기록된다.

• 만약 grid cell에 object의 중심점이 위치하지 않으면 cell에 객체가 존재하지 않는다고 판단 (p_c = 0)
  • 실제 객체가 존재한다고 하더라도 중심점이 그 cell에 있지 않다면 p_c = 0이 된다.
  • p_c = 0이라면 b_x, b_y, b_h, b_w, c1, ..., cn은 don't care condition으로 어떤 값이든 상관없다.
    

Photo by cristian castillo on Unsplash

• 다음과 같이 노란색의 grid cell만 p_c = 1이 되고, 나머지 grid cell은 p_c = 0이 되는 것이다.

 

---

7. IOU(intersection over union)

: IOU는 예측된 bounding box와 정답 bounding box의 intersection over union을 계산하는 것이다.

 

즉 두 bounding box가 얼마나 유사한지를 측정하는 지표라고 보면 된다.

 

 

• IOU의 범위 : 0 ~ 1
  • 0에 가까울수록 두 bounding box가 유사하지 않음을 의미
  • 1에 가까울수록 두 bounding box가 유사함을 의미
• 일반적으로 IOU가 0.5보다 크다면 예측된 bounding box가 옮다고 판단한다.

 

 

---

8. Non-max suppression

: non-max suppression은 하나의 object에 대해 여러개의 bounding box가 예측되는 문제를 해결하기 위한 방법이다.

 

 

non-max suppression은 다음과 같은 과정을 반복한다.

(여기서 각 grid cell의 output은 [p_c, b_x, b_y, b_h, b_w]라고 가정)

1. p_c가 0.6이하인 bounding box는 제거하기 (p_c : 객체가 존재할 확률, 0.6이라는 기준은 바뀔 수 있다)
2. 아래의 절차를 각 클래스마다 반복한다.
   1. 가장 큰 p_c를 갖는 bounding box를 고른다.
   2. 이 bounding box와의 IOU가 0.5이상인 bounding box를 모두 제거한다. (non-max suppression)

---

9. anchor boxes

: 하나의 grid cell에서 여러개의 객체를 탐지하기 위한 방법

 

여러개의 anchor box를 사용하자

• anchor box는 직접 디자인 될 수 있고,
• bounding box에서 k-means clustering을 수행하여 anchor box를 설계할 수도 있다.

 

 

사람과 자동차의 중심이 일치하여 동일한 grid cell에 객체가 할당되었다.

하나의 grid cell에 다수의 객체가 할당되는 경우는 어떻게 처리해야 하나?

• 이러한 경우 여러개의 anchor box를 사용하여 문제를 어느정도 해소할 수 있다. (다 해결하는 것 아니다)
• 사람의 경우, anchor box2보다 anchor box1과 유사도가 높기 때문에 anchor box1에 대응되는 위치에 라벨 부여하고
• 자동차의 경우, anchor box1보다 anchor box2와 유사도가 높기 때문에 anchor box2에 대응되는 위치에 라벨을 부여한다.
• (더 정확히는 객체의 bounding box와 여러개의 anchor box와의 IOU를 구한 뒤, 가장 높은 IOU가 계산된 anchor box 위치에 라벨을 부여하는 방식이다)

이렇게 여러개의 anchor box를 사용하는 경우 각 cell에 대응되는 label은 다음과 같다.

(위의 경우는 2개의 anchor box를 사용했을 때 label이다)

 

 

 

만약에 anchor box는 2개인데, 하나의 cell에서 detect된 object가 3개라면 어떻게 되는가?

• 이러한 경우가 이 알고리즘이 잘 처리하지 못하는 경우가 된다.
• (위에서 anchor box를 사용하여 문제를 "어느정도" 해소할 수 있다고 한 이유이다)

 

그리고 사람 object와 자동차 object가 동일한 cell에 할당되었을 때,

사람의 bounding box도, 자동차의 bounding box도 anchor box1과 유사하다면 어떻게 되는가?

• 이러한 경우 역시 이 알고리즘이 잘 처리하지 못하는 경우이다.

 

---

10. YOLO 

 

Training

• 모델 output의 볼륨은 S*S*(B*(5+C))가 될 것이다.
• S*S : grid의 크기
• B : bounding box의 개수 (= anchor box의 개수)
• 5 : 5인 이유는 confidence score, b_x, b_y, b_h, b_w
• C : 클래스의 개수

 

 

 

Prediction

• 전체 이미지를 model에 넣어 한 번만 forward를 진행하면 예측값을 얻을 수 있다.
• 위의 예시에서 output의 shape가 3*3*2*8인 이유는
  • grid : 3*3
  • anchor box의 개수 : 2
  • 클래스의 개수 : 3 (따라서 5+3=8)

 

 

 

output에 대해 non-max suppression을 적용