AI
새로운 루다를 지탱하는 모델 서빙 아키텍처 — 1편: A/B 테스트를 위한 구조 설계
두줄요약
모델 추론 구조까지 비교할 수 있도록 서비스 백엔드와 파이프라인을 분리했습니다. ConfigMap과 프록시 라우팅으로 A/B 테스트를 빠르게 제어했습니다.
문제 상황
- 모델 아키텍처와 추론 순서 변화에 따른 서비스 백엔드 수정·재배포 부담
- 모델·설정 변경과 서로 다른 추론 구조를 비교할 고빈도 A/B 테스트 요구
- GPU·IPU 기반 모델 서버 중복 배포에 따른 인프라 비용 우려
구조와 흐름
- 서비스 백엔드와 모델 추론 파이프라인 서버 분리
- 프록시 서버의 사용자 군 식별 및 실험별 파이프라인 엔드포인트 라우팅
- ConfigMap 변경 감시를 통한 다수 프록시 서버의 동시 라우팅 갱신
선택 이유
- 서비스 백엔드의 모델 아키텍처·A/B 테스트 세부 사항 분리
- 공통 모델 서버 공유와 파이프라인 서버 다중 배포를 통한 중복 비용 완화
- Config 하나로 사용자 군, 비율, 파이프라인 엔드포인트 정의
성능/운영 포인트
- ConfigMap watch 다중 연결 부하 테스트 후 성능 영향 없음 확인
- Argo CD와 PR Review 기반 실험 설정 관리·검증
