AI
Chain-of-Draft(CoD): 더 적게 쓰고 더 빠르게 생각하면서 LLM 추론 성능을 높이는 기법에 대한 연구 (feat. Zoom)
두줄요약
Chain-of-Draft는 LLM이 핵심만 간결하게 추론하도록 유도해 토큰 사용량과 지연 시간을 줄이는 프롬프팅 기법을 소개했습니다. 다양한 벤치마크에서 CoT와 비슷한 정확도를 유지하면서도 효율을 높인 결과와 한계를 함께 정리했습니다.
핵심 내용
- Chain-of-Draft(CoD) 프롬프팅으로 LLM 추론에서 장황한 설명을 줄이고 핵심 정보만 남기는 방식 소개
- Chain-of-Thought(CoT) 대비 토큰 사용량과 응답 지연 시간을 줄이면서 정확도를 유지하는 실험 결과 정리
- 산술적 추론, 상식적 추론, 기호적 추론 벤치마크에서 CoD의 성능과 한계 비교
장단점
- 장점: 토큰 절감, 지연 시간 감소, CoT 수준의 정확도 유지
- 한계: zero-shot에서 성능 저하, 소형 모델에서 효과 감소
- 적용 조건: few-shot 예제와 충분한 모델 규모 필요