사내 AI 에이전트 개선기

문제 상황

• 사내 AI 에이전트가 수십 턴 작업을 처리하면서 파일 본문, 채널 목록, 스킬 문서, tool output이 누적되어 컨텍스트 비용과 지연이 커지는 문제
• v1 자체 루프 구조에서는 세션 상태, 스트리밍, 재시도, 캐싱, 토큰 집계, 권한 검증을 수작업으로 관리해 확장성과 안전성에 한계

원인 분석

• 모델 입력에 동적 정보가 계속 섞여 prompt prefix가 불안정해지고, tool output이 히스토리에 누적되며 context가 계속 비대해짐
• 파일을 첫 메시지에 inline 첨부하거나 전체 채널 목록을 매 턴 주입하는 등, 작업 패턴보다 단순한 입력 중심 설계가 비용 누수를 유발

해결 방법

• OpenAI Agents SDK 기반 v2로 전환해 route와 runtime을 분리하고, 세션·컨텍스트·가드레일을 요청 단위로 정리
• 파일은 reference로 두고 read_file, search_file로 필요한 범위만 읽게 하며, 채널과 스킬도 선택 정보와 카탈로그 중심으로 축소
• API 응답과 tool 응답을 분리해 모델에 필요한 필드만 전달하고, 허용 목록과 상한을 runtime에서 강제