WEEK5 : traning set과 dev/test set의 불일치

 

1. training set과 test set이 다른 경우

 

• 두 가지의 데이터를 수집했다.
  • 웹페이지의 데이터 200,000장 (고화질, 프로페셔널한 사진)
  • 모바일앱의 데이터 10,000장 (저화질, 아마추어의 사진)
  • 실제 서비스를 제공하고자 하는 대상은 모바일 앱의 아마추어 사진가분들이다.
• 이러한 경우 train / test set의 구축?
  • 방법1 : randomly shuffle & split
    • 장점 : train / test 모두 동일한 분포를 지닌다.
    • 단점 : dev가 관심있는 app에서의 이미지보다 웹페이지 이미지의 비중이 높다. 🙁
    • 추천하지 않는 방법
  • 방법2 : training은 web image + mobile 일부 / test는 mobile 
    • 장점 : 실제 동작하길 원하는 환경과 유사하게 test set을 구축
    • 단점 : training set의 분포와 dev/test set의 분포와 다르다.
    • 이렇게 구성하기를 추천 🙂

 

---

2. train / test 데이터의 분포가 다를 때 bias/variance

 

• 에러율
  • bayes optimal error = 0%
  • training error = 1%
  • dev error = 10%
• training set과 dev set의 차이는 1개가 아니다! ⭐
  • 2가지가 동시에 바뀌었다
  • 1) training set은 보았지만, dev set은 학습할 때 보지 못 했다
  • 2) training set과 dev set의 분포가 다르다. 
• 문제의 원인 (training set과 dev set의 차이점이 1개가 아니기 때문에 원인이 1개가 아니다) 
  • 원인1. training set에 over-fitting (variance)
  • 원인2. train의 분포와 dev의 분포가 다르다 (data-mistach)
  • training error와 dev error 사이의 큰 차이가 나타나는 원인을  파악하기 힘들다.
    
    • training-dev set을 만들자!
• training-dev set
  • ⭐ tranining set과 동일한 분포를 가지는 데이터셋이지만, 학습에는 사용되지 않는 데이터

 

 

예1)

• training error = 1%
• training-dev error = 9%
• dev error = 10%
• -> variance가 문제이다.

예2)

• training error = 1%
• training-dev error = 1.5%
• dev error = 10%
• -> train / dev 사이 다른 분포가 문제이다 (=data mismatch)

예3)

• human error = 0%
• training error = 10%
• training-dev error = 11%
• dev error = 12%
• -> avoidable bias가 문제이다

예4)

• human error = 0%
• training error = 10%
• training-dev error = 11%
• dev error = 20%
• -> bias 문제 + train / dev 사이 다른 분포가 문제

---

3. data mismatch 문제를 다루는 법

• 에러 분석 수행
  • training set과 dev/test set 차이점에 대해서 이해한다.
• dev/test set과 유사한 데이터셋을 수집하여 training set에 추가한다.
  • 위에서 수행한 에러 분석 내용 기반으로 다른 데이터셋 추가해보기
• dev/test set과 유사하도록 데이터 합성 수행