AI
에이전트 옵저버빌리티 - AI 에이전트의 '조용한 실패'를 잡는 법
두줄요약
AI 에이전트의 조용한 실패를 잡기 위한 에이전트 옵저버빌리티 개념과 APM·LLM 옵저버빌리티와의 차이를 정리했습니다. Langfuse와 Gemini로 PR 리뷰 에이전트를 추적·평가하는 실습과 운영 시 유의사항도 다뤘습니다.
핵심 내용
- 에이전트가 거친 추론, 도구 호출, 상태 변경, 메모리 읽기·쓰기 경로를 트레이스로 기록해 결과뿐 아니라 판단 과정까지 재구성하는 에이전트 옵저버빌리티 개념 정리
- APM은 서비스·요청, LLM 옵저버빌리티는 개별 모델 호출, 에이전트 옵저버빌리티는 다단계 실행 전체를 관측 단위로 보는 차이 설명
- Langfuse, Arize Phoenix, LangSmith, Braintrust 같은 구현 도구와 OpenTelemetry 기반 계측, 셀프호스트·상용 선택 기준 정리
- Langfuse와 Gemini로 PR 리뷰 에이전트를 추적·평가하고, 실패 트레이스를 데이터셋과 배포 게이트로 승격하는 실습 포함
적용해볼 점
- 자동 평가는 1차 필터로 두고 사람 검토로 보정하는 운영 방식
- 민감정보 마스킹, 보존 기간, 저장 위치를 관측 전에 먼저 정의하는 필요성
- 실패 트레이스를 평가 데이터셋으로 누적해 회귀를 배포 전에 잡는 루프 구축