
17
AI 요약
이 글은 AI가 원문을 분석하여 핵심 내용을 요약한 것입니다.
이 게시물은 유전 알고리즘 기반 프롬프트 자동 최적화로 수일~수주 걸리던 수작업 튜닝을 약 1시간 수준으로 단축한 방법을 소개합니다.
프롬프트 자동 최적화 접근으로 강화학습, 베이지안 최적화, 유전 알고리즘을 비교하며 GEPA(Reflective Prompt Evolution)를 핵심으로 설명합니다.
GEPA는 여러 후보 프롬프트를 생성·평가하고, 자연어 리플렉션 기반 프롬프트 변이로 문제를 특정한 뒤 개선안을 만들며 Pareto frontier 선택으로 균형 있게 후보를 유지합니다.
DSPy에서는 시그니처 독스트링을 최적화 인스트럭션으로 재작성하고, 평가 함수는 단일 스칼라 점수와 함께 자연어 피드백을 반환하도록 구성해 리플렉션에 활용합니다.
Yahoo! JAPAN Search의 건강·의료 쿼리에서 요건 준수(진단 행위/단정 표현 등)와 가독성(마크다운 구조)을 동시에 목표로 설정해 정책 준수율을 거의 100% 수준으로 달성했다고 보고합니다.
다만 단일 스칼라 평가로 인한 축 점수 묻힘 가능성, 사람 검토가 병목이 될 수 있음, 최적화로 프롬프트가 비대화되는 점 등의 제약을 함께 정리합니다.

