AI 스페셜리스트와 자동사냥 — 하네스로 제어하는 AI 파이프라인
AI
AI 스페셜리스트와 자동사냥 — 하네스로 제어하는 AI 파이프라인
두줄요약
슬로우 쿼리 분석과 PR 반영까지 이어지는 AI 파이프라인을 하네스로 설계한 사례를 다뤘습니다. 반복 작업에 특화된 스페셜리스트형 구조로 품질과 운영 안정성을 높였습니다.
핵심 내용
- 슬로우 쿼리 분석부터 패치 생성, 정합성 검증, PR 생성, 리뷰 반영까지 자동화하는 AI 파이프라인 설계
- 범용 AI의 한계를 보완하기 위해 시스템 프롬프트, 서브에이전트, 자기 검증, 리뷰 폐쇄 루프를 하네스로 구성
- 쿼리 fingerprinting, unified diff 패치, EXPLAIN 및 실측 검증, 실패 유형 분리로 운영 안정성 강화
구조와 흐름
- 7단계 파이프라인으로 슬로우 쿼리 수집 → 메타데이터 수집 → 병렬 분석 → 패치 등록 → 정합성 검증 → PR 생성 및 리뷰 루프 → 사후 피드백 반영 구성
- PipelineCallbacks와 SSE로 진행 상황을 노출해 웹 UI와 CLI가 동일 엔진을 공유
- 리뷰어와 공급자를 분리해 교차 검증하고, 중복 결과 병합과 graceful degrade로 품질과 가용성 균형 유지
선택 이유
- 슬로우 쿼리 분석이 반복적이고 패턴화된 작업이라 스페셜리스트형 타이트한 하네스가 적합
- 컨텍스트 부패를 줄이기 위해 역할별 에이전트 분리와 컨텍스트 격리 채택
- 사람의 판단을 대체하기보다 판단에 필요한 근거를 제공하는 방향으로 자동화 범위 설정