월 150만 유저가 사용하는 LLM Inference 인프라 안정적으로 운영하기
멀티 리전 AKS, Karmada, Istio로 대규모 LLM 추론 인프라를 중앙 관리했습니다. 스토리지·이미지 배포를 통합해 비용과 운영 리소스를 절감했습니다.

멀티 리전 AKS, Karmada, Istio로 대규모 LLM 추론 인프라를 중앙 관리했습니다. 스토리지·이미지 배포를 통합해 비용과 운영 리소스를 절감했습니다.
선톡으로 인한 급격한 트래픽에 대비해 발송 예정 메시지 수 기반의 Prescaler를 설계했습니다. Custom Resource와 Controller로 HPA의 minReplicas를 사전 조정했습니다.
EKS의 GPU 서버 비용을 줄이기 위해 Karpenter와 EC2 Spot을 도입했습니다. NTH와 FIS로 Spot 중단 대응과 동작 검증을 구성했습니다.
ArgoCD와 Helm Chart로 모델 서빙 인프라 및 A/B 테스트 환경을 배포하는 구조를 소개했습니다. 파이프라인 추상화, SyncWave 종료 순서, 블루/그린 배포와 RPS 기반 확장 전략을 설명합니다.
Kubernetes 기반 Spring Boot 서버에 Prometheus·Grafana·BigQuery를 결합한 모니터링 구성을 소개했습니다. Actuator와 Micrometer로 핵심 지표를 수집하고 장애 대응에 활용하는 방법을 설명합니다.
Kubernetes HPA에서 Prometheus와 prometheus-adapter로 RPS Custom Metric을 노출하는 방법을 설명했습니다. Istio 메트릭 기반 RPS와 CPU 기준을 함께 설정해 pod 수를 확장합니다.
fastlane으로 iOS·Android 앱 빌드와 스토어 업로드를 스크립트로 자동화했습니다. GitHub Actions와 Secrets로 인증 정보를 주입해 배포 환경 의존성을 줄였습니다.
쿠버네티스 Event Watch API로 노드 추가를 감지하는 알림 프로그램 구현 방식을 설명했습니다. Event TTL·중복 처리와 RBAC, 사이드카 프록시를 포함한 배포 구성을 함께 다뤘습니다.
AWS 네트워크 격리와 WAF·Network Firewall·Shield 기반의 인프라 보안 구성을 정리했습니다. IaC와 컨테이너 스캔, 조직·기술·프로세스 기반 사고 대응 방안도 소개합니다.
AWS 로그를 중앙 S3 저장소에 모으고 보관 주기·모니터링·규정 준수를 관리하는 방안을 소개했습니다. TLS, S3 암호화, KMS와 데이터 분류 태그로 전송·저장 데이터 보호 체계를 설명합니다.
AWS Well-Architected 보안 원칙을 바탕으로 다중 계정과 IAM 운영 체계를 설계했습니다. SSO, Control Tower, 최소 권한으로 보안과 개발 효율성의 균형을 모색했습니다.
GitHub Actions와 ECR, EKS를 연결한 지속적 배포 흐름을 구성했습니다. Pod 동기화, TensorFlow Serving, 로그 스트리밍 운영 방식도 소개합니다.