AI
EMNLP24 늦은 후기 1탄: 텔레콤 LLM 벤치마크 TelBench 발표 이야기
두줄요약
SK텔레콤이 한국어 상담 데이터를 기반으로 통신 특화 벤치마크 TelBench를 발표했습니다. 상담 요약과 후속 업무 자동화 가능성을 평가하고 개인정보 보호와 다국어 확장 계획도 함께 제시했습니다.
핵심 내용
- SK텔레콤 AI Data Engineering팀의 한국어 상담 데이터 기반 통신 특화 벤치마크 TelBench 소개
- 상담 대화 요약, 고객 의도 분류, 감정 분석, 엔티티 인식, 후속 조치 생성, 안전성 탐지 등 10개 과제 구성
- 실제 상담 환경 반영을 위해 데이터 익명화, 개인정보 치환, 프롬프트 기반 재구성 방지 적용
- 상용 및 오픈소스 LLM 평가 결과와 다국어 확장, 텔코 도메인 밖 연구 확장 계획 공유