AI
경량 언어모델의 종류와 장점, 한계
두줄요약
경량 언어모델의 종류와 메모리·비용·로컬 배포 측면의 장점을 정리했습니다. 실제 업무 데이터로 성능을 측정하고 RAG·검증 구조를 병행하는 방법을 제안합니다.
핵심 내용
- 제한된 컴퓨팅 자원과 로컬 배포 환경을 위한 0.3B~14B급 경량 언어모델(SLM) 소개
- Phi, Gemma, Qwen, Llama, Ministral, EXAONE의 규모·활용 환경·라이선스 고려사항 정리
- 양자화로 가중치 메모리를 줄이고, 분류·추출·요약·RAG 생성 등 반복 업무에 적용하는 접근
선택 이유
- 외부 API 전송이 어려운 데이터와 대량 문서 처리 환경에서의 로컬 실행 가능성
- 적은 메모리·연산량에 따른 빠른 추론과 반복 API 비용 절감
- 작업 범위, 처리량, 응답 시간, 보안, 배포 환경을 기준으로 한 도입 판단
트레이드오프
- 효율성과 운영 편의성의 대가로 복잡한 다단계 추론·범용 지식·생성 품질의 제약
- 긴 문맥에서 증가하는 KV 캐시 메모리와 처리 시간, 중간 정보 누락 가능성
- 모델 크기만으로 판단하기 어려운 MoE·활성 파라미터·양자화 수준별 실행 특성
적용해볼 점
- 실제 업무 데이터와 동일 프롬프트로 후보 모델·양자화 수준별 정확도 비교
- 처리 시간, 동시 처리량, 최대 메모리 사용량 측정을 통한 비용·성능 평가
- 환각·긴 문서·판단 오류에 RAG, 규칙 검증, 문서 분할 처리 병행
