버그 티켓, AI에게 맡겨봤습니다 — QUBA 개발기
두줄요약
QUBA는 Jira 버그 티켓을 분석해 근거 기반 원인·수정 범위 리포트를 만드는 AI Agent를 설계했습니다. RAG 품질과 승인 절차를 강화해 조사 시간을 줄이고 비용 효과를 측정했습니다.
문제 상황
- Jira 티켓·코드·API 명세·정책·로그에 분산된 버그 원인 조사 정보
- 코드 수정 전 정보 수집·연결에 소요되는 개발자 분석 시간
구조와 흐름
- LangGraph Supervisor Agent와 MCP Server 기반의 7개 노드 분석 파이프라인
- Jira 티켓 조회, 문맥 보강, 개인정보 마스킹, LLM 리포트 생성·코드 검증, 승인 후 Jira 코멘트 등록
- API 스펙 검색 뒤 endpoint·HTTP method로 Feature-Code 매핑을 정밀 연결하는 RAG 구조
선택 이유
- 복잡한 상태·승인 단계·재시도·도구 확장을 위한 LangGraph 선택
- 의미 검색용 벡터 검색과 정확 일치용 BM25·메타데이터 필터의 역할 분리
- 후보 생성 후 cross-encoder 리랭킹, RRF 병합, 신뢰도 재보정 적용
성능/운영 포인트
- 7건 비교에서 도구 호출 274회에서 240회, 비용 합계 6% 절감
- 티켓당 평균 14.1초의 1차 조사와 IDE 전달로 정보 수집 부담 완화
- 근거 부족 시 빈 수정 범위와 파일 전체 열람으로 비용 증가 가능성, golden set 기반 평가 필요




