AI
개인화 추천 시스템 #4. Feature Store
두줄요약
중앙 레지스트리 기반 피처 스토어로 학습·서빙 피처를 일원화했습니다. Go 조회 로직과 ScyllaDB 전환으로 지연과 비용 문제를 개선했습니다.
문제 상황
- Airflow·Redis 기반 피처 관리에서 파이프라인과 추천 서버 간 강한 결합
- 피처 재사용·추가의 어려움과 학습/서빙 데이터 불일치 위험
- ML 엔지니어의 피처 서빙·배포 작업 부담
구조와 흐름
- Feast 레지스트리 방식을 차용한 중앙 Feature Store Registry 구성
- Registry 기반 point-in-time join으로 데이터 누수 방지형 학습 데이터셋 생성
- Offline Store 최신 피처 materialize와 Feature Service 기반 Online Store 조회
트레이드오프
- Feast 기본 서버 대신 Go 조회 로직 직접 구현으로 네트워크 지연과 불필요한 기능 축소
- Redis hash TTL·비용 제약 해소를 위한 ScyllaDB 마이그레이션
- Redis 대비 조회 속도 저하를 쿼리·조회 방식 최적화로 완화
성능/운영 포인트
- ScyllaDB 전환으로 인프라 비용 약 1/8 절감과 온라인 서빙 성능 유지
- Git·YAML·PR 및 CI/CD 기반 선언적 피처 변경 관리
- 피처 카탈로그와 적재·서빙 모니터링을 통한 투명성 및 장애 대응 강화
