[Hands On] 질문 유형별 최적 LLM 모델 선택 AI Assistant 구축 실습
AI
[Hands On] 질문 유형별 최적 LLM 모델 선택 AI Assistant 구축 실습
두줄요약
질문 유형에 따라 적합한 LLM을 자동 선택하는 Multi-LLM Assistant 실습을 소개했습니다. Flask와 Amazon Bedrock으로 라우팅 구조와 웹 UI를 구성해 비용과 정확도 개선 가능성을 보여주었습니다.
핵심 내용
- 사용자 질문 유형을 분석해 적합한 LLM 전문가 모델을 자동 선택하는 Multi-LLM Assistant 실습
- Amazon Bedrock 기반 라우터가 질문 의도 분류 후 수학, 코드, 분석, 창작, 번역, 대화용 모델로 분기
- Flask 웹 백엔드와 Nginx 프록시를 붙여 웹 UI에서 질문-응답 흐름을 구성
구조와 흐름
- 베이스 라우터 모델이 질문과 전문가 설명을 함께 보고 JSON 형식으로 전문가 하나 선택
- 선택된 전문가 에이전트가 실제 응답 생성, 응답과 함께 모델명·선택 이유를 UI에 표시
- 대화 기록을 저장하고, 로딩 상태와 모델 인디케이터로 라우팅 과정을 시각화
선택 이유
- 모든 요청을 하나의 LLM에 맡기지 않고 작업 성격에 맞는 모델을 쓰기 위한 구조
- 정확성, 창의성, 속도, 비용 등 우선순위가 다른 요청에 대응하기 위한 라우팅 필요성
- 선택 이유를 사용자에게 드러내어 신뢰성과 투명성 강화
적용해볼 점
- 질문 분류와 모델 선택을 분리한 라우팅 패턴
- 고성능 모델 호출을 줄여 비용 최적화 가능성
- 기능별 전문가 모델을 묶는 모듈형 확장 구조
