AI
인프런은 영상 화면 속 글자도 번역합니다
두줄요약
영상 화면 속 글자를 오버레이로 대체하는 화면 번역 기능의 구현 과정을 소개했습니다. OCR·VLM·XY Cut·LLM과 프레임 재사용으로 품질과 비용을 함께 최적화했습니다.
구조와 흐름
- 원본 영상 위에 배경색 박스와 번역 텍스트를 겹치는 오버레이 방식
- 시간 구간별 이벤트, 텍스트 좌표·색상·언어별 번역을 담은 JSON 데이터
- 플레이어 탐색 시 현재 이벤트의 bbox 위치에 번역 레이어 렌더링
선택 이유
- 영상 재인코딩 없이 언어 추가와 번역 데이터 수정 반영 가능
- 번역 텍스트만 전송하는 낮은 네트워크 부담
- 사전 분석 기반 품질 보정과 실시간 이미지 번역 대비 처리 시간 여유
해결 방법
- OCR 기반 텍스트 추출 후 VLM으로 번역 대상 선별
- XY Cut 분할과 VLM 판단을 결합한 문단 블록 구성 및 읽기 순서 확보
- k-means 기반 배경색·글자색 추출, 주변 맥락을 포함한 LLM 일괄 번역
성능/운영 포인트
- 픽셀 동일성, IoU 0.5 이상, 텍스트 유사도 0.85 이상 조건의 프레임 결과 재사용
- 신규 영역만 OCR·VLM 처리해 호출 비용 절감과 오버레이 깜빡임 완화
- 사진·그라데이션 배경 텍스트와 애니메이션 텍스트 처리의 잔여 한계
