AI
Luda Gen 1, 더 재미있고 자연스러운 대화로 돌아온 루다 1편 - 생성 기반 챗봇
두줄요약
검색 기반 챗봇의 답변 DB 한계를 넘어 Luda Gen 1 생성 기반 챗봇을 도입했습니다.\n2.3B PLM과 시간·화자 정보를 활용해 자연스러운 문맥 대화 가능성을 높였습니다.
문제 상황
- 답변 DB에서 문장을 고르는 검색 기반 챗봇의 문맥 적합성·시의성 한계
- 최신 대화 표현 반영을 위한 답변 DB 관리 비용과 안전성·대화 성능 간 트레이드오프
선택 이유
- 실시간 답변 생성으로 미묘한 문맥과 상황에 맞춘 대화 가능성
- 답변 DB 없이 모델 중심으로 구성하는 구조적 단순성
- 대형 생성 모델의 확장성·일반화 능력과 후속 Fine-tuning 활용 가능성
구조와 흐름
- GPT-2 구조 기반 2.3B PLM의 대화 데이터 Pre-training
- 대화 내용과 시간·화자 정보를 입력으로 활용하고 최대 256토큰, 약 30턴 문맥 반영
- 대화 성능과 안전성 향상을 위한 Fine-tuning, 다중 발화 생성 지원
성능/운영 포인트
- 어뷰징 문맥에서도 안전한 답변 생성을 위한 고도화된 Fine-tuning 필요
- 대형 모델의 반복 추론에 따른 생성 속도와 서빙 비용 최적화 필요
- 시간·화자 맥락, 중·단기 기억, 삼행시·퀴즈·끝말잇기 등 생성 기반 대화 능력 확인
