Karrot’s GenAI Platform
AI
Karrot’s GenAI Platform
두줄요약
Karrot이 GenAI 도입 확산을 위해 LLM Router, Prompt Studio, KarrotChat을 구축한 과정을 소개했습니다. 계정·비용 관리부터 실험, 에이전트 실행, 장애 대응까지 통합한 플랫폼 구조를 설명했습니다.
핵심 내용
- 카카오뱅크? 아닌 Karrot의 GenAI 확산을 위해 세 플랫폼을 구축한 사례
- LLM Router로 모델·계정·비용·레이트리밋을 중앙화하고 OpenAI 인터페이스로 표준화
- Prompt Studio로 노코드 실험·평가·배포·롤백을 지원하고, MCP Hub와 Agent Builder로 에이전트 실행까지 통합
- KarrotChat으로 내부 에이전트를 공유·사용하며, 재시도·지역 폴백·모델 폴백·서킷브레이커로 안정성 확보
