Agent에 적합한 LLM 선별을 위한 맞춤형 평가 프로세스

문제 상황

• 실제 Agent의 도구 활용, 문맥 판단, 연속 기능 실행을 범용 정적 벤치마크로 측정하기 어려운 한계
• RAG 중심 프레임워크와 한국어 SLM이 부족한 Function Call 벤치마크의 실무 적용성 제약

해결 방법

• 시제·요약·분석·생성·수식·표 해석·분류·정책 준수·단일·복합 Function Call을 포괄하는 맞춤형 데이터셋 구성
• Function Call용 instruction·format·ground_truth와 문맥 판단용 context 기반 평가 항목 설계
• GPT o3-mini와 Claude 3.7 Sonnet의 이중 평가 점수 평균 기반 최종 점수 산출

구조와 흐름

• 공통 프롬프트와 실제 Agent 함수 목록 기반 system prompt로 모델 응답 수집
• 정답 일치도, 의미 유사성, 요구 조건 충족 여부와 함수·파라미터·순서·의존성 기준의 부분 점수 평가
• 카테고리별 평균 점수 종합을 통한 모델별 강점·한계와 적용 가능성 비교

성능/운영 포인트

• 평가 데이터셋과 프로세스를 Alpy Evaluation 모듈에 통합해 배포 모델 자동 테스트·비교 기능 구현
• 도메인별 샘플·엣지 케이스 보강, 멀티 모델 대시보드와 하이브리드 지표 도입 계획
• 빠른 모델 업데이트 대응을 위한 CI/CD 기반 평가 파이프라인 및 리포트 시스템 고도화 계획