Amazon Bedrock 모델 promptfoo 로 성능 평가하기

핵심 내용

• promptfoo를 사용해 Amazon Bedrock의 여러 모델 응답 품질을 골든 테스트셋으로 비교 평가하는 방법 소개
• 선언적 YAML 설정으로 프롬프트, 모델, 테스트 케이스, 평가 기준을 정의하고 한 번에 다중 조합 실행
• 결정적 평가와 LLM judge 기반 평가를 함께 사용해 정확성, 언어, 구조, 간결성, 응답 속도 등을 채점
• Bedrock 인증, 모델 ID 조회, inference profile 활용, eval/view 실행 흐름과 토큰·비용 절감 포인트 정리

적용해볼 점

• 프롬프트 수정이나 모델 교체 시 회귀 테스트처럼 반복 평가에 활용
• 주관적 기준은 llm-rubric, 객관적 기준은 contains나 latency로 분리해 비용 절감
• judge 모델과 rubric 수를 조정해 채점 토큰과 비용을 관리