목록 보기
딥러닝 모델을 활용하여 미응대 상담 알리미 개발하기
AI

딥러닝 모델을 활용하여 미응대 상담 알리미 개발하기

오토피디아
오토피디아
2021년 8월 24일

두줄요약

미응대 상담을 중요도별로 분류해 Slack으로 알리는 시스템을 구축했습니다. KoELECTRA의 높은 재현율을 바탕으로 중요한 상담을 우선 처리하도록 지원합니다.

문제 상황

  • 장기·동시다발 상담 환경에서 중요한 고객 메시지의 답변 누락
  • 종료 가능한 인사성 대화까지 미응대 상담으로 집계되어 알림 처리 부담 증가

구조와 흐름

  • BigQuery의 채팅·메시지 데이터 조회와 마지막 상담 턴 수집
  • Airflow의 일일 작업에서 KoELECTRA 분류 API 호출 후 Slack 웹훅 알림 전송
  • 중요 상담 우선 정렬과 상담창 이동 버튼 제공

선택 이유

  • 규칙 기반 분류의 예외 케이스 한계
  • TF-IDF 기반 SVM·Logistic Regression 대비 높은 재현율의 KoELECTRA 채택
  • 한국어 사전학습 모델과 HuggingFace Transformers 기반의 간편한 파인튜닝

성능/운영 포인트

  • 약 1,000건의 마지막 메시지 턴 라벨링과 중요도 이진 분류
  • Mac CPU 학습 대신 Google Colab GPU로 4 epoch 약 2분 학습
  • 지속 학습 필요성이 낮은 초기 운영 단계에 Cloud Run·Docker 기반 단순 배포

다음 읽기

#BigQuery 주제를 이어서 읽기

데이터 엔지니어: 오토피디아 5개월 인턴 후기

인턴으로 데이터 대시보드, ELT 파이프라인, 검색 엔진, 업무 자동화를 구축한 경험을 공유했습니다. 데이터 품질 관리와 지속적인 파이프라인 유지보수의 중요성을 설명합니다.

오토피디아
오토피디아
백엔드

댓글 0개

댓글을 작성하려면 로그인이 필요합니다.

댓글을 불러오는 중...