AI
AI뒤에 사람 있어요: Human-in-the-loop를 위한 VLMOps 어드민 구축기
두줄요약
VLM 기반 상품 메타데이터 추출에서 Human-in-the-loop를 지원하는 어드민 구축 과정을 소개했습니다. 모델 추론, 검증, 골든셋 관리, 평가를 하나의 순환 구조로 묶어 운영 효율을 높였습니다.
문제 상황
- 상품 카테고리 분류와 속성 추출에서 예외 사례와 복잡한 맥락이 빈번해 AI 단독 판단의 한계 존재
- VLM 실험 반복으로 검토량 증가, 도구 세팅 번거로움, 데이터 분산, 품질 관리 어려움이 병목으로 작용
구조와 흐름
- 모델과 프롬프트 등록
- 오토필 기반 추론 결과 생성 후 작업자 검증과 검수 진행
- 골든셋 승격, 모델 평가, 개선 반영으로 이어지는 순환형 Flywheel 구조
선택 이유
- 외부 API와 내부 추론 모델을 함께 연동할 수 있는 웹 UI 기반 관리 필요
- 라벨링 도구만으로는 검증, 품질 관리, 실험 자동화를 통합하기 어려움
성능/운영 포인트
- Spread view와 Grid view로 작업 특성에 맞는 검증 환경 제공
- 골든셋 자동 제외와 실시간 리뷰로 중복 비용 감소 및 협업 효율 향상
- 데이터 검증 시간 약 54% 단축