외부 API 장애가 우리 서비스 장애로 이어졌다
외부 API 장애가 우리 서비스 장애로 이어졌다
외부 API 장애가 서비스 장애로 이어지는 문제를 다뤘습니다. 멀티 벤더 자동 Fallback과 Health Status 적용 과정의 시행착오를 공유했습니다.
#API#fallback
5200
외부 API 장애가 서비스 장애로 이어지는 문제를 다뤘습니다. 멀티 벤더 자동 Fallback과 Health Status 적용 과정의 시행착오를 공유했습니다.
여러 LLM 제공사와 키 관리를 하나의 SDK로 묶어 호출 복잡성을 줄인 사례를 소개했습니다. LiteLLM과 Langfuse를 활용해 추적, 프롬프트 관리, fallback까지 통합한 점이 핵심입니다.