KBO 리그 이닝 교체 때 광고 요청 견뎌내기

문제 상황

• KBO 리그 이닝 교체 구간에 광고 요청이 순간적으로 몰리며 서버 부하와 도달률 저하 우려 발생
• SSAI 기반 광고 서빙 구조에서 모든 시청자 요청이 한 시점에 집중되는 spike성 트래픽 문제

원인 분석

• AWS prefetching만으로는 티빙 시청자 단위 식별과 도메인 특성 반영이 어려움
• 오래된 prefetch 결과는 실시간 집계 오차를 키우고, 캐시 TTL이 길면 광고 신선도 저하
• 이닝 간격이 비정상적으로 길어질 경우 session 유실 가능성 존재

해결 방법

• initialize-session, refill, refresh 기준으로 광고를 미리 가져오고 캐싱하는 내부 prefetching 구조 적용
• AWS prefetching 결과를 내부 캐시가 받는 이중 구조로 외부 부하와 latency 완화
• AWS 내부 캐시와 TVING 내부 캐시의 TTL을 짧게 조정해 신선도와 안정성 균형 맞춤

성능/운영 포인트

• Kafka lag 모니터링 중 partition과 worker 증설 필요
• partition 증설만으로 기존 적재 메시지 재분산이 되지 않는 운영 특성 확인
• 내부 캐시서버 도입 후 광고 시간대 부하와 버퍼링 지표 개선