AI
AI 선생님과 제자의 대화: Teacher–Student 구조와 BERTScore, Classifier 활용법
두줄요약
Teacher–Student 구조를 지식 증류와 멀티턴 대화 학습 관점에서 설명했습니다. BERTScore, 코사인 유사도, Classifier로 검증하는 방법도 함께 정리했습니다.
핵심 내용
- Teacher–Student 구조를 지식 증류 관점에서 정리
- 대형 Teacher 모델이 생성한 멀티턴 대화 데이터를 소형 Student 모델이 학습하는 흐름 설명
- 빠른 응답 속도와 비용 효율을 위한 에이전트형 AI 적용 맥락 제시
구조와 흐름
- Teacher가 고품질 멀티턴 대화 생성
- Student가 해당 대화 흐름을 파인튜닝으로 모방
- response-based knowledge를 예시로 학습 데이터 구성 방식 제시
적용해볼 점
- 멀티턴 대화형 서비스에서 문맥 유지형 학습 데이터 구축
- Teacher와 Student 응답의 유사도 검증 자동화
- 검증 항목별 평가 기준 분리 설계
