WEEK5 : ML 모델의 목표 설정하고 달성하기

ML 모델의 목표를 설정하기 위한 방법

• 하나의 evaluation metric을 정하라.
• 여러가지의 evaluation metric을 사용해야 하는 경우, 하나를 metric으로 나머지는 조건으로 설정하라.
• dev / test의 분포는 동일해야 하며, 실제 환경과 유사한 분포의 데이터여야 한다.
• 데이터가 많다면, train : dev : test = 0.98 : 0.01 : 0.01 비율로 나누어라
• metric에 의해 부여된 순위가 실제 환경에서의 순위와 불일치하면, metric, dev/test set을 바꿔라.

 

---

1) 하나의 evaluation metric을 정하라

 

• 특정한 모델을 선택할 때 precision, recall 2개의 지표를 동시에 보는 것보다, F1 score 하나 보는 것이 좋다.
• A, B, C, D 국가의 정확도를 따로따로 보는 것보다, 평균 정확도를 보고 모델을 평가하는 것이 좋다.
• 이처럼 여러개의 평가지표를 사용하여 모델을 평가하는 것이 아니라, 하나의 평가지표를 설정하라.
  • 여러개의 평가지표를 사용하면 모델을 비교하기 어렵다.

---

2) 조건과 optimizing하고자 하는 metric 설정하기

 

• 여러가지 평가지표(N개)를 사용하고 싶은 경우, 
  N-1개는 조건으로, 나머지 1개를 optimizing하고자 하는 metric으로 설정하라.

classifier	accuracy	running time
A	90%	80ms
B	92%	95ms
C	95%	1500ms

 

• A, B, C 모델에 대한 accuracy, running time 정보가 존재한다고 가정하자
  모델 선택하는데 있어 accuracy, running time 둘 다 고려되어야 하는 사항이라면, 
  하나는 optimizing하는 metric으로 설정하고, 나머지는 충족되어야 하는 조건으로 설정한다.
• 위의 예시에서 running time을 조건으로 설정하고, accuracy를 optimizing하고자 하는 metric으로 설정했다고 하자.
  그렇다면, "running time은 100ms 이하"라는 조건을 충족하면 더이상 running time은 고려하지 않고
  accuracy만을 이용하여 모델을 선택하는 것이다.
• C 모델은 조건을 만족하지 않았기에 1차 탈락하고, 조건을 만족하는 A, B 모델만 남는다.
  그 다음에는 running time은 보지 않고, accuracy만 본다. 따라서 B 모델이 최종 모델로 선택된다.

---

3) train / dev / test distribution

 

• dev set과 test set은 동일한 분포를 띄고 있어야 하기 때문이다.
  • dev set, test set의 대상이 되는 데이터를 random하게 shuffle한 다음에 dev / test로 나누어야 한다.
  • ex) dev set은 어린 연령대의 사람, test set은 높은 연령대의 사람 데이터로 구성되면 안 된다.

• • dev set과 test set은 실제 동작하길 원하는 환경과 유사한 데이터로 구성되어야 한다.

---

4) dev, test dataset의 크기

 

• 과거에는
  • 1) train = 70%, test = 30%
  • 2) train = 60%, dev = 20%, test = 20%
  • 의 비율로 train / dev / test split을 진행하였다.
• 최근에는
  • 데이터가 많다면, 굳이 위처럼 데이터를 나누지 않아도 된다.
  • 데이터가 많다면 dev data, test data는 성능을 평가하기 위한 목적이므로 
    train = 98%, dev = 1%, test = 1%로 설정해도 문제가 되지 않는다.
  • 하지만 test set 결과에 대한 높은 신뢰도를 부여하고 싶다면 test set의 크기를 좀 더 늘려도 된다.

 

---

5) 언제 평가지표, dev/test dataset을 바꾸어야 하는가?

 

• 평가지표가 알고리즘의 순위를 정확히 부여하지 못하는 경우에 test/dev, 평가지표를 바꾸어야 한다. 
  • 예를 들어 스팸 필터기가 있다고 하자.
  • A 모델의 accuracy는 95%이지만, 스팸이 아닌 것을 스팸이라고 예측하는 경우가 많다.
    B 모델의 accuracy는 90%이지만, 스팸이 아닌 것을 스팸이라고 예측하는 경우가 적다.
    사용자의 입장에서 스팸 댓글이 보이는 것보다 나의 댓글이 스팸처리 되는 것에 더 불편함을 느낀다고 가정하자.
  • accuracy를 평가지표로 사용하는 경우 B 모델보다 A 모델이 우수하다고 판단할 것이지만,
    사용자는 A 모델보다 B 모델이 우수하다고 생각할 것이다.
  • 이러한 경우에는 평가지표가 개선되어야 하는 것이다.