AI
VITO API 성능 비교
두줄요약
한국어 음성 4건으로 VITO·Clova·Google STT 전사 결과를 CER로 비교했습니다. VITO API가 평균 CER 6.32%로 가장 낮았으며, 제한된 샘플 기반 결과임을 함께 언급했습니다.
구조와 흐름
- VITO API, Clova Speech, Clova Speech Recognition API, Google STT Demo의 음성 4건 전사 결과 비교
- Ground Truth와 전사 결과 간 문장부호 제거 후 CER 측정
- 삭제·삽입·치환 기반 Levenshtein distance와 Python 측정 라이브러리 소개
선택 이유
- 한국어 교착어 특성과 조사·접사 오류 영향을 고려한 WER 대신 CER 채택
- API별 문장부호 규칙 차이에 따른 측정 편향 완화
성능/운영 포인트
- 평균 CER: VITO API 6.32%, Clova Speech 9.49%, CSR API 59.92%, Google STT Demo 52.02%
- 화자 전환, 간투어, 사투리 전사에서 VITO 결과의 높은 GT 유사성 관찰
- CSR API의 비교적 긴 응답 시간과 Google STT Demo의 저신뢰 발화 전사 포기 경향 언급
주의할 점
- AI Hub 공공분야 고객응대 샘플 4건 기반의 제한된 비교
- GT의 간투어 생략 가능성으로 실제 음성과 GT 간 차이 가능성
