AI
클릭 한 번으로 실험 시작! 이터레이션 사이클을 단축하는 추천 실험 시스템 개발기
두줄요약
추천 실험의 병목을 줄이기 위해 Policy와 Experiment를 분리하고 Python DSL과 Z3 검증을 도입했습니다. 그 결과 설정 작성과 리뷰 시간이 크게 줄고, 엔지니어 개입 없이 실험을 운영할 수 있게 했습니다.
핵심 내용
- 아자르 추천 실험의 이터레이션 속도를 높이기 위해 로우 코드 실험 시스템에서 Policy Engine으로 재설계
- Policy와 Experiment를 분리해 기본 설정과 실험 설정의 변경 주기를 분리하고, 실험 설정은 DSL로 표현
- Python 기반 DSL과 AST, simpleeval, Z3를 활용해 실험 적용과 MECE 충돌 검증을 자동화
- 모니터링 대시보드까지 더해 설정 작성, 리뷰, 검증, 운영 전반의 부담을 축소
적용해볼 점
- 자주 바뀌는 실험 설정과 고정적인 기본 설정의 분리
- 사람이 읽기 쉬운 선언형 DSL로 복잡한 조건 표현 단순화
- 정적 분석과 자동 검증으로 실험 집단 충돌 사전 차단
- 실시간 대시보드로 적용 여부와 결과를 빠르게 확인