AI
Multi Task Learning 기반 챗봇 모델 개발
두줄요약
상위·하위 인텐트를 함께 추론하는 챗봇을 위해 MTL 기반 PLE 모델과 CurricularFace loss를 적용했습니다. 기존 앙상블보다 성능과 관리 효율을 함께 개선한 사례를 소개했습니다.
핵심 내용
- 게임/서비스용 챗봇의 상위·하위 인텐트 계층을 한 모델로 함께 추론하기 위한 MTL 기반 개선 사례
- 기존 앙상블 방식의 유지 보수 부담과 하위 인텐트 성능 한계를 해결하려는 문제의식
- PLE 구조, CurricularFace loss, KcELECTRA 사전학습 모델을 조합해 성능과 관리 효율을 동시에 개선
구조와 흐름
- 입력 문장을 사전학습 모델로 임베딩한 뒤 PLE에 전달해 과제별 출력 생성
- Expert/Gate/Task 레이어로 상위·하위 인텐트의 연관성을 활용한 분류 구조 구성
- 학습 시 과제별 loss를 가중합해 역전파하고, 추론 정확도로 기존 상용 모델과 비교
선택 이유
- 상/하위 인텐트가 계층형 구조라 공동 학습의 이점이 크다는 판단
- PLE로 Negative Transfer와 시소 현상을 줄이고 과제별 표현 분리를 기대
- CurricularFace loss로 분류 표현의 군집성과 분별력을 높이려는 접근
적용해볼 점
- 인텐트처럼 연관된 다중 분류 과제에 MTL을 적용해 모델 수를 줄이고 관리 효율 개선
- 데이터가 적을 때는 도메인에 맞는 사전학습 모델과 결합해 전이학습 활용
- 분류 성능이 부족할 때는 표현 시각화와 margin/mining 계열 loss 조합을 점검
