AI
Skill 품질 관리를 위한 Rubric 설계와 시스템 구현
두줄요약
Skill 품질 편차를 줄이기 위해 6섹션 30항목 Rubric과 자동 평가 시스템을 설계했습니다. 결정적 결함은 규칙 검사로, 의미 품질은 LLM 판정으로 나누어 관리했습니다.
핵심 내용
- 개발 단계 도구인 Skill의 품질 편차를 줄이기 위해 6섹션 30항목 Rubric 설계
- 결정적 결함은 규칙 검사, 의미적 결함은 LLM 판정으로 분리한 평가 원칙 수립
- 구조, 트리거, 콘텐츠, 리소스, 안전성까지 나눠 BLOCKER/MAJOR/MINOR와 S~F 등급 체계 적용
- GitHub Actions와 로컬 Claude Code 플러그인으로 동일 기준의 자동 평가 흐름 구축
적용해볼 점
- 형식 검증과 의미 검증의 책임 분리
- 블로커를 하나의 비트로 차단하는 단순한 게이트 설계
- PR 코멘트와 셀프 체크를 통한 피드백 루프 자동화