AI
대규모 언어 모델을 위한 검증 가능한 추론의 진전
Progress on provable inference for large language models
두줄요약
Anthropic은 zkSNARK 기반 검증 가능한 추론 프로토타입 FlashProve를 공개했습니다. Llama 4 Maverick에서 H100 단일 GPU로 약 110 tokens/second 증명을 생성했습니다.
핵심 발표
- zkSNARK 기반 검증 가능한 추론 프로토타입 FlashProve 공개
- 모델 가중치를 공개하지 않고 응답이 지정된 모델에서 생성됐음을 증명하는 방식
- 코드, 기술 보고서, 프로토콜 설명, Lean 증명과 문서를 Apache 2.0 라이선스로 공개
연구 방법·결과
- Llama 4 Maverick 400B MoE 모델의 4비트 양자화·prefill 정수 연산 기준 단일 H100 GPU에서 약 110 tokens/second 증명 생성
- 1,024토큰 요청당 약 19 MB 증명 크기, vLLM 모델 실행 대비 약 70~95배 GPU 시간
- C++ 고속 검증기와 Lean으로 정확성을 증명한 검증기 제공
개발자 영향
- 제3자 라우팅 서비스의 모델 대체, 토큰 스트림 변조, 추론 서버 침해 여부 검증 가능성
- 독립 평가자·감사자·규제기관을 위한 모델 무결성 검증 도구 기반
한계·주의점
- 모델 가중치와 추론 증명의 은닉이 목표이며 모델 아키텍처 은닉은 대상 제외
- 하드웨어가 추론에 사용됐다는 검증과 별개로 병행 학습 여부까지 입증하지는 못함
- 완료된 연구 의제가 아닌 중간 진행 상황 공유
