서비스 개발에 집중할 수 있는 AI 플랫폼 만들기
토스의 AI 플랫폼이 모델 사용 검토부터 Gateway 호출·도구 권한 관리까지 연결한 구조를 소개했습니다. 예산·처리 용량·보안 로그를 통합 관리해 서비스 팀의 공통 운영 부담을 줄였습니다.
#LLM#MCP
8300
국내 IT 기업 기술 블로그 최신 글
필터 1
사내 지식으로 Agentic RAG 만들기 (3/3) : 관측 가능한 RAG, 운영되는 도구로
사내 지식으로 Agentic RAG 만들기 (3/3) : 관측 가능한 RAG, 운영되는 도구로
Langfuse와 이중 평가 파이프라인으로 사내 Agentic RAG의 품질·비용·지연시간을 측정했습니다. FastMCP 명세와 instructions를 다듬어 도구 활용 정확도를 개선하고 운영 환경에 제공했습니다.
#RAG#LLM
4700
LLM에게 어디까지 맡길 것인가: AI 에이전트 기반 광고 분석 리포트 자동화
AI 에이전트로 광고 분석 리포트를 자동 생성하되, 계산과 해석을 분리해 신뢰성을 높였습니다. 섹션별 컨텍스트 분리와 평가 루프로 품질을 운영 가능하게 만들었습니다.
#LLM#AI 에이전트
4600
에이전트 옵저버빌리티 - AI 에이전트의 '조용한 실패'를 잡는 법
AI 에이전트의 조용한 실패를 잡기 위한 에이전트 옵저버빌리티 개념과 APM·LLM 옵저버빌리티와의 차이를 정리했습니다. Langfuse와 Gemini로 PR 리뷰 에이전트를 추적·평가하는 실습과 운영 시 유의사항도 다뤘습니다.
#LLM#모니터링
5400
복잡한 LLM 연동, GenAI SDK 하나로 끝내기
복잡한 LLM 연동, GenAI SDK 하나로 끝내기
여러 LLM 제공사와 키 관리를 하나의 SDK로 묶어 호출 복잡성을 줄인 사례를 소개했습니다. LiteLLM과 Langfuse를 활용해 추적, 프롬프트 관리, fallback까지 통합한 점이 핵심입니다.
#LLM#Langfuse
5500
LLMOps로 확장하는 AI플랫폼 2.0
LLMOps로 확장하는 AI플랫폼 2.0
AI플랫폼 2.0에서 LLMOps를 지원하기 위한 운영 과제와 대응 방안을 정리했습니다. Studio, SDK, API Gateway, Labs를 중심으로 프롬프트 관리와 관측성, 보안을 강화했습니다.
#LLM#MLOps
3900
쿠팡 파트너스
개발자를 위한 서적을 확인해 보세요
이 게시물은 쿠팡 파트너스 활동의 일환으로, 이에 따른 일정액의 수수료를 제공받습니다.
#개발서적#프로그래밍
엔터프라이즈 AI 에이전트 성능 평가 가이드 \:\ 인포그랩 NEXA의 LLM-as-a-Judge 실전 적용 사례
엔터프라이즈 AI 에이전트는 전통적인 LLM 평가만으로는 충분히 측정하기 어려웠습니다. NEXA는 LLM-as-a-Judge로 도구 정확성과 효율성을 평가하는 방식을 적용했습니다.
#LLM#RAG
2600
엔터프라이즈 AI 에이전트 성능 평가 가이드 \:\ 인포그랩 NEXA의 LLM-as-a-Judge 실전 적용 사례
엔터프라이즈 AI 에이전트는 전통적 LLM 평가만으로는 성능 측정이 어려워 전용 평가가 필요했습니다. NEXA는 Langfuse의 LLM-as-a-Judge로 도구 정확성과 효율성을 함께 평가했습니다.
#LLM#RAG
6500