WEEK3 : train test split (with bias)

<content>

• train / dev / test split
• train / test dataset의 분포
• bias / variance
• basic recipe for machine learning

---

 

1. Train / Dev / Test sets

• 학습을 진행하는 데 있어 전체 데이터셋을 train / dev(validation) / test dataset으로 분리한다 

https://3months.tistory.com/118

• train dataset
  • 학습하는 데 사용
• dev dataset
  • 학습 모델을 평가하는 bias가 존재하는 평가 결과를 제공한다.
• test dataset
  • 학습 모델을 평가하나 bias가 존재하지 않는 평가 결과를 제공해준다
• 전통적으로 train : dev : test = 0.6 : 0.2 : 0.2 정도의 비율으로 분할하지만,
• 데이터셋의 크기가 크다면 이러한 비율로 설정할 필요는 없다.
• valid / test 모두 모델의 성능을 평가하는 것이 목적이므로 데이터가 많은 경우 0.98 : 0.01 : 0.01으로 나눠도 된다.

 

 

 

---

 

2. train / test dataset의 분포

• train dataset과 test dataset의 분포가 다른 것은 괜찮다.
• 하지만 validation set과 test set의 분포는 동일해야 한다.

 

---

3. bias / variance

http://scott.fortmann-roe.com

 

• ⭐ optimal model 혹은 base model과의 train cost의 차가 큰 경우 bias가 크다고 말하고 (under-fitting),
• ⭐ train cost와 valid cost의 차가 큰 경우 variance가 크다고 말한다 (over-fitting).
• 우리의 목적은 bias도 줄이고, variance도 줄이는 것이다!
• 과거에는 bias와 variance 사이 trade-off 관계가 존재한다고 하였으나,딥러닝에서는 이러한 관계가 깨지고 있다. 
  깊은 layer와 많은 데이터가 존재한다면 bias와 variance 모두 낮출 수 있다고 한다.
  이것이 딥러닝이 사랑받는 이유 중 하나가 아닐까

 

---

4. basic recipe for machine learning

• ML 학습을 진행하는 데 있어 기본적인 틀이 있다. 
• 1. bias가 높은가?(=underfitting)
  • bias를 줄이는 데 집중한다. 
  • 새로운 아키텍쳐 / layer 증가 / 더 많은 iteration 을 시도해보라.
• 2. bias는 작지만, variance가 큰 가?(=overfitting)
  • 이제는 variance를 줄이는 데 집중한다.
  • 새로운 아키텍쳐 / 데이터 추가 / 정규화를 시도해보라.