WEEK5 : Multi-Task Learning

<content>

• learning from multiple task
  • transfer learning 
  • multi-task learning

* transfer learning에 대한 내용 

hyoeun-log.tistory.com/entry/WEEK5-Transfer-Learning?category=848132

 

---

Multi-Task Learning

 

1) Multi-Task Learning이란?

• 서로 연관있는 과제를 동시에 학습함으로써 모든 과제 수행의 성능을 전반적으로 향상시키는 학습 방법
• 관련 있는 작업들의 표현을 공유함으로써 모델의 일반화 능력을 향상시키는 접근 방식

 

---

2) Transfer Learning 내 Multi-task learning

• Transfer Learning
  • Same Task (transductive transfer learning)
    • domain adaptation
    • cross-lingual learning
  • Different Task (inductive transfer learning)
    • multi-task learning
    • sequential transfer learning

---

3) Multi-Task learning의 장점과 단점

• 장점
  • knowledge transfer
    • 서로 다른 task를 학습하면서 얻은 유용한 정보가 공유되어 서로에게 도움
  • overfitting 감소
    • 관련있는 작업들의 표현을 공유하여 일반화 능력이 증가
  • computational efficiency
    • 여러 task를 동시에 학습하여 계산 효율적
  • real-word application
    • 현실에서는 다양한 task가 한 번에 요구된다
  • 데이터 증가의 효과
    • 여러 개의 task * 여러 개의 데이터셋 -> 데이터 증가의 효과
• 단점
  • negative transfer
    • 부적합한 표현 역시 공유된다.
  • task balancing의 어려움
    • task마다 학습 난이도가 크게 차이나면 수렴하기 어렵다
  • 각 task의 데이터셋의 개수가 유사하기를 권장

---

4) parameter sharing

• soft parameter sharing
  • 각 작업에 대응되는 매개변수를 갖는 고유한 모델이 존재
  • 각 모델 매개변수 사이의 거리를 정규화하여 각 매개변수가 유사하도록 유도
• hard parameter sharing
  • 작업별 출력 레이어를 유지하면서 히든 레이어를 공유
  • 동시에 학습하는 작업이 많을수록 과적합 될 가능성이 낮아짐

 

---

5) mutli-label VS multi-task

• multi-label
  • 하나의 데이터셋에 여러가지 라벨이 존재하는 경우
• multi-task
  • 각 task가 서로 다른 training set으로 구성

 

* 참고

vanche.github.io/MTL/

mapadubak.tistory.com/40

 

 

 

---

Multi-label learning

 

1) Multi-label learning이란?

 

• 데이터셋의 label이 multi-label인 경우
  • multi-class VS multi-label
    • multi-class는 여러가지의 클래스 중 하나에만 속하는 문제 (상호배타적)
      ex) 초등학생, 중학생, 고등학생
    • multi-label은 여러가지의 클래스 중 1개 이상에 속할 수 있는 문제
      ex) 영화 장르 (멜로, 드라마, 코미디, 범죄, 스릴러, 판타지, 애니메이션 등)
• 예) 자율주행
  • 보행자 식별 + 차량 식별 + 표지판 식별 + 신호등 식별 + ...
  • Y = [보행자유뮤 자동차유무 표지판유무 ...]

 

2) 학습 방법

• 하나의 네트워크가 multi label 학습 (output node가 여러개)
• multi-label 각각의 개별 신경망 학습