AI
LLM에게 어디까지 맡길 것인가: AI 에이전트 기반 광고 분석 리포트 자동화
두줄요약
AI 에이전트로 광고 분석 리포트를 자동 생성하되, 계산과 해석을 분리해 신뢰성을 높였습니다. 섹션별 컨텍스트 분리와 평가 루프로 품질을 운영 가능하게 만들었습니다.
문제 상황
- 광고 KPI 대시보드는 변동 규모만 보여주고 원인과 후속 확인 대상까지 설명하지 못하는 한계
- 단일 프롬프트로 리포트를 생성할 때 수치 오류, 집계 누락, 중요 항목 누락, 포맷 불안정 발생
- 고정 DAG 방식의 원인 분석은 그날의 데이터에 따라 달라지는 탐색 경로를 담기 어려움
원인 분석
- LLM이 숫자 계산과 정합성 검증까지 맡을 때 재현성과 정확성 부족
- 긴 컨텍스트에서 중요 항목이 누락되고, 섹션별 목적이 섞이며 컨텍스트 오염 발생
- 분석 가능한 모든 경로를 사전 정의하면 구조가 복잡해지고 확장성 저하
해결 방법
- 계산과 해석을 분리해 DoD, MoM, YoY와 상위 변동 항목은 코드가 산출
- LLM은 검증된 사실을 비즈니스 문장으로만 생성하도록 역할 제한
- ReAct 에이전트와 tool calling으로 추가 탐색을 수행하되, 탐색 그래프와 호출 가드레일로 범위 통제
성능/운영 포인트
- 섹션별로 필요한 컨텍스트만 전달해 Executive Snapshot, Key Drivers, Trend Diagnosis, Opportunity / Risk Signals를 분리 생성
- 근거 등급화로 driver_eligible, caution_only, monitoring_signal을 구분해 과도한 인과 추론 방지
- Langfuse trace와 평가 기준표로 생성 결과와 변경 효과를 반복 검증