오픈챗 이름 및 설명 글로 유해성 판단하는 모델 개발하기

핵심 내용

• 오픈챗 이름과 설명 글을 기반으로 유해성 및 징계 코드·사유를 판별하는 모니터링 모델 개발 과정 소개
• 수동 검수 데이터 정제, 라벨 충돌 해결, Apache 라이선스의 2B 내외 디코더 모델 선정, LoRA 학습 적용
• 후보 토큰 생성 확률과 임곗값을 활용한 추론 설계, KV 캐싱으로 효율 개선, F1 기준 오프라인·온라인 평가에서 기존 모델 대비 성능 향상

적용해볼 점

• 분류 헤드 대신 후보 토큰 확률 기반 판단으로 출력 형식 안정성과 운영 적합성 확보
• 높은 정밀도 요구 환경에서는 임곗값 조정으로 자동 처리 범위와 수동 검수의 균형 설계
• 데이터 가이드라인 변경과 라벨 노이즈를 고려한 정제 규칙 수립