AI
우리 아이가 달라졌어요: 텍스트에 워터마크를 어떻게 넣을까
두줄요약
텍스트 워터마크가 LLM 샘플링에 통계적 신호를 남기는 KGW·SynthID-Text·textGrain 방식을 비교했습니다. PRD 에이전트에서는 검출력뿐 아니라 의미 보존과 실제 수정 부담을 함께 평가해야 합니다.
문제 상황
- Claude Fable API의 텍스트 워터마크 적용 뒤 PRD 에이전트 단어 선택의 어색함과 PM 이탈 사례
- PRD에서 표현의 자연스러움뿐 아니라 요구사항 강도·책임·기간 의미 보존의 중요성
구조와 흐름
- 문맥과 비밀키로 다음 토큰 샘플링에 통계적 패턴을 남기고, 검출 시 같은 키로 패턴을 재구성하는 방식
- KGW의 Green 토큰 logit 보너스와 Green 출현 횟수 기반 검출
- SynthID-Text의 후보 토너먼트 점수와 textGrain의 블록·최적수송 기반 샘플링
트레이드오프
- 워터마크 신호 강화와 원래 토큰 분포·고정 키 환경의 응답 다양성 사이의 균형
- 평균 분포 보존, 엔트로피 손실, 문장 자연스러움·요구사항 정확성의 서로 다른 평가 범위
- 짧은 텍스트, 편집된 문맥, 반복 문맥에서 약해질 수 있는 검출 신호와 오검출 보정 필요성
적용해볼 점
- PRD 에이전트 평가에서 어색한 표현, 요구사항 의미, 용어 일관성, 수정 시간, PM 선호도, 응답 다양성 분리 측정
- 일반 품질 평가 결과를 제품 문서의 실사용 품질 보장으로 단정하지 않는 기준 수립
