이 게시물은 에이전트 옵저버빌리티로 에이전트의 ‘조용한 실패’를 기록·평가·개선하는 방법을 소개합니다. 에이전트 옵저버빌리티는 추론, 도구 호출, 상태 전이, 메모리 입출력 등 실행 전 단계를 트레이스로 남겨 ‘무엇을, 왜 했는지’를 재구성합니다. 운영 루프는 에이전트 실행→트레이스 수집→점수 평가(온라인/오프라인, LLM-as-judge·주석·코드 평가자)→낮은 점수 실패를 데이터셋으로 누적→프롬프트·모델·도구 수정→실험·배포 게이트(회귀)로 연결됩니다. APM은 서비스·요청, LLM 옵저버빌리티는 모델 호출을 관측하는 반면, 에이전트 옵저버빌리티는 다단계 판단과 도구 호출이 이어지는 실행 전체를 관측 단위로 봅니다. Langfuse와 Google Gemini로 PR 리뷰 에이전트의 도구 호출 경로를 트레이스로 확인하고, 규칙 기반·사람 주석 점수로 평가한 뒤 실패 트레이스를 회귀 데이터셋으로 승격하는 실습을 다룹니다. 운영 시에는 자동 평가는 1차 필터로만 신뢰, 평가 비용 관리를 위한 모델 차등화, 트레이스에 포함될 민감정보 마스킹·보존·저장 위치 수립, OpenTelemetry 기반 계측으로 벤더 종속 완화를 권장합니다.