AI
Amazon Bedrock 모델 promptfoo 로 성능 평가하기
두줄요약
Amazon Bedrock 모델을 promptfoo로 비교 평가하는 방법을 소개했습니다. 프롬프트와 모델 변경 시 품질을 회귀 테스트처럼 검증할 수 있는 흐름을 설명했습니다.
핵심 내용
- promptfoo를 사용해 Amazon Bedrock의 여러 모델 응답 품질을 골든 테스트셋으로 비교 평가하는 방법 소개
- 선언적 YAML 설정으로 프롬프트, 모델, 테스트 케이스, 평가 기준을 정의하고 한 번에 다중 조합 실행
- 결정적 평가와 LLM judge 기반 평가를 함께 사용해 정확성, 언어, 구조, 간결성, 응답 속도 등을 채점
- Bedrock 인증, 모델 ID 조회, inference profile 활용, eval/view 실행 흐름과 토큰·비용 절감 포인트 정리
적용해볼 점
- 프롬프트 수정이나 모델 교체 시 회귀 테스트처럼 반복 평가에 활용
- 주관적 기준은 llm-rubric, 객관적 기준은 contains나 latency로 분리해 비용 절감
- judge 모델과 rubric 수를 조정해 채점 토큰과 비용을 관리
