AI
Jev로 AI 글 냄새 잡기 - 판정 모델을 교정 파이프라인 세 곳에 붙인 기록
두줄요약
Jev를 원고 교정·문체 탐지·자동 발행 점검에 적용해 조건부 활용 방식을 검증했습니다. 문단 판정은 Jev, 반복 규칙은 코드, 사실 검증은 별도 단계로 분리해야 합니다.
구조와 흐름
- 원고 교정의 원문·수정안 쌍대 비교, 문체 패턴 탐지, DEVOTEE 발행 전 점검에 Jev 적용
- 생성·수정·채점은 LLM, 선택형·확률형 판정은 Jev, 반복·금칙 표현 계수는 코드로 분리
- 원문·수정안 순서 교체 비교와 확률 임계값 기반 무승부 처리
선택 이유
- 새 글 생성보다 답이 정해진 문단 단위 비교·패턴 판정에 적합한 판정 전용 모델
- 11개 문체 패턴별 Noul 질의 대신 단일 Choice 질의로 패턴 분류 정확도 개선
- Jev 결과를 자동 수정 근거보다 사람이 읽을 후보 문단 목록으로 제한
성능/운영 포인트
- manuscript-ci에서 승자 확률 0.6 미만을 무승부로 처리해 애매한 수정안 보수적 기각
- DEVOTEE에서 정규식 기반 상투어 밀도와 Jev 표시 문단 수를 재생성 조건으로 조합
- 주제 수·분량·소제목 요구를 축소하고 사전 계획과 목소리 문서로 생성 조건 개선
주의할 점
- 글 전체에 누적된 문단 길이·대비 구문·뜸 들이기 반복과 사실 오류 탐지의 한계
- 한국어 측정, 적은 표본, AI 주석 정답지, 운영 이틀치 효과에 따른 기준값 일반화 한계
- 외부 API 전송 범위를 공개 글로 제한하고 사내 문서·회의록 입력 거부
