2조 토큰을 카테고리 분류에 쓰면서 알게된 것들
11
AI 요약
이 글은 AI가 원문을 분석하여 핵심 내용을 요약한 것입니다.
이 게시물은 카테고리 분류에 대규모 LLM을 적용하고 운영하면서 얻은 설계·성능·비용·평가 인사이트를 정리한 글입니다.
시스템 구성
- Taxonomy Management System 구축, Dataflow(Beam)로 스트림·배치 통합, BigQuery를 Source of Truth
분류 전략
- Single-shot·Hierarchical·Two-stage 등 다양한 프롬프트 전략을 DoFn 모듈화로 교체 가능
평가와 운영
- LLM as a Judge로 다중 모델 합의 기반 ground truth 생성, 카테고리·속성별 precision/recall 지표로 모니터링, 이미지 포함 프롬프트와 프롬프트 캐싱으로 정확도·비용 균형 최적화
