AI
unified + rehype 를 사용하여 경제적인 LLM번역 프로세스 구축하기
두줄요약
HTML 번역 전에 unified와 rehype로 속성을 분리해 LLM 입력을 최소화했습니다. 그 결과 토큰을 약 40% 줄이고 번역 오류 위험도 낮췄습니다.
문제 상황
- WYSIWYG로 작성된 HTML 블로그 콘텐츠를 그대로 LLM 번역에 넣는 과정에서 태그 누락, 속성값 손실 같은 환각 문제 발생
- HTML 전체를 번역 대상으로 사용해 토큰 사용량과 비용이 커지고 사용량 제한에도 걸리는 문제 발생
원인 분석
- 번역에 불필요한 HTML 정보까지 함께 전달되어 입력이 과도하게 커짐
- HTML 구조를 유지하지 못하면 번역 과정에서 태그와 속성 복원이 어려움
해결 방법
- unified와 rehype로 HTML을 AST로 파싱한 뒤 불필요한 속성을 추출해 최소 정보만 LLM에 전달
- 번역 전후에 커스텀 플러그인으로 속성값을 저장·복원하고, 유니코드 공백 문자도 보정
- 트리 순회 순서를 활용해 구조를 유지한 채 안전하게 HTML을 간소화
성능/운영 포인트
- 전처리 이후 동일 콘텐츠 기준 약 40% 토큰 절감
- 비용 절감과 사용량 제한 완화, LLM 환각 위험 감소에 기여
- 이후 블로그 HTML 속성 수정 같은 내부 요구사항에도 재사용 가능
