언어 모델의 Fine-Tuning 성능 올리기
AI
언어 모델의 Fine-Tuning 성능 올리기
두줄요약
언어 모델의 fine-tuning 성능을 높이는 LoRA, TAPT, DAPT, Adversarial Training을 소개했습니다. 대규모 전체 학습보다 비용과 효율을 고려한 적용 방향을 정리했습니다.
핵심 내용
- 언어 모델의 fine-tuning 성능을 높이는 방법론 소개
- LLM의 범용성만이 항상 최선은 아니라는 문제의식
- 상대적으로 작은 LM을 특정 task·domain에 맞게 효율적으로 조정하는 방향 제시
선택 이유
- LoRA, TAPT, DAPT, Adversarial Training의 개념적 비교 중심
- 각 기법의 상세 구현보다 활용 가능성에 초점
장단점
- LoRA: 학습 파라미터와 메모리 사용량 감소, 성능 유지 가능성
- TAPT/DAPT: task·domain 적합성 향상, 데이터 분포 차이 완화
- Adversarial Training: 입력 변형에 대한 강건성 향상, 일반화 성능 기대
적용해볼 점
- 대규모 전체 미세조정보다 저비용 효율형 fine-tuning 검토
- task 특성 데이터나 도메인 데이터로 추가 사전학습 고려
- 입력 변형에 강한 모델이 필요한 경우 적대적 훈련 검토