AI뒤에 사람 있어요: Human-in-the-loop를 위한 VLMOps 어드민 구축기

핵심 내용

• 무신사 상품 메타데이터 추출 과정에서 VLM 기반 자동화가 확장되더라도 Human-in-the-loop가 필수라는 점 정리
• 예외 사례, 편향, 할루시네이션, 서비스 맥락 반영 한계를 사람이 보완해야 하는 이유 설명
• VLM 실험과 운영을 하나의 순환 구조로 묶는 VLMOps 어드민 구축 배경과 구성 소개

구조와 흐름

• 모델·프롬프트 관리, 추론, 결과 검증과 리뷰, 정답셋 관리, 모델 평가를 하나의 Flywheel로 연결
• 데이터 오퍼레이션팀이 엔지니어 도움 없이 웹 UI에서 모델과 프롬프트를 관리하고 실험 반복 가능
• 골든셋 기반의 일관된 평가와 재사용으로 중복 검증을 줄이고 개선 속도를 높이는 구조

성능/운영 포인트

• 오토필 기능으로 초안 라벨 자동 생성, 다양한 모델·프롬프트 조합 비교 지원
• Spread view와 Grid view로 개별 검토와 대량 검수를 모두 대응
• Batch inference API, 권한 분리, 실시간 리뷰, 골든셋 자동 승격으로 운영 효율 강화

적용해볼 점

• 사람이 개입해야 하는 예외 판단과 기준 조정을 별도 운영 흐름으로 설계할 필요
• 검증 데이터와 평가 기준을 정답셋으로 축적해 반복 실험의 출발점으로 재사용할 필요
• 실험, 검증, 평가, 재학습을 끊기지 않는 순환 구조로 묶어야 함