AI
LLM이 문학 번역 성능을 평가할 수 있을까?
두줄요약
LLM을 문학 번역 평가자로 쓰는 연구를 소개하며, 기존 지표보다 인간 판단에 가까운 성과를 보였다고 분석했습니다. 다만 문화적 맥락과 미묘한 뉘앙스까지 완전히 대체하지는 못해 인간 평가의 보완이 필요하다고 정리했습니다.
핵심 내용
- 영어-한국어 문학 번역의 자동 평가를 위해 LLM을 평가자로 활용한 연구 소개
- 기존 BLEU, BLEURT 같은 지표가 문학 번역의 뉘앙스와 문화적 맥락을 충분히 반영하지 못한다는 문제 제기
- DA-MQM과 VERSE의 2단계 프레임워크로 정확도와 문학적 품질을 함께 평가
- 기존 지표보다 인간 판단과의 상관은 높았지만, 인간 전문가 수준의 세밀한 판단과 문화적 이해에는 한계 확인
적용해볼 점
- 번역 품질 비교 시 단순 자동 지표보다 오류 유형별 세분화 평가 필요성 검토
- 문학 번역처럼 문화적 맥락이 중요한 작업에는 LLM 평가만 단독 사용하지 않고 인간 평가 병행 고려
- 한국어 존대법, 문체, 서사 리듬 등 언어 특화 항목을 평가 기준에 포함하는 접근 참고