AI
모델 변경으로 사라진 Harness
두줄요약
LLM 에이전트의 보상적 harness가 특정 모델의 실패를 코드로 옮긴 것임을 설명했습니다. 더 좋은 모델을 쓰면 보상 코드를 줄이고 시스템 책임만 남겨야 한다고 정리했습니다.
핵심 내용
- LLM 에이전트의 도구 호출과 대화 흐름을 감싸는 보상적 harness를 로컬 모델 실패 패턴에 맞춰 점점 두껍게 만든 과정 정리
- gpt-5.6으로 모델을 바꾸자 동의어 파싱, 입력 유형 추론, 빈 응답 재시도 같은 보상 코드의 필요성이 크게 줄어든 사례 제시
- 모델 결함을 메우는 코드와 승인, 권한, 예산, 감사처럼 시스템이 책임져야 하는 코드의 경계를 구분해야 한다는 주장
적용해볼 점
- 모델 교체 시 전체 과업 성공 여부와 반복 실행 안정성을 먼저 확인하고, 보상 코드는 adapter에 격리
- 새 모델 도입 뒤에는 보상 로직을 추가하기보다 기존 보상 코드를 삭제할 수 있는지 우선 검증
- 호출 비용뿐 아니라 실패 분석, 유지보수, 운영 위험까지 포함해 모델 선택
