[Hands On] 질문 유형별 최적 LLM 모델 선택 AI Assistant 구축 실습

핵심 내용

• 사용자 질문 유형을 분석해 적합한 LLM 전문가 모델을 자동 선택하는 Multi-LLM Assistant 실습
• Amazon Bedrock 기반 라우터가 질문 의도 분류 후 수학, 코드, 분석, 창작, 번역, 대화용 모델로 분기
• Flask 웹 백엔드와 Nginx 프록시를 붙여 웹 UI에서 질문-응답 흐름을 구성

구조와 흐름

• 베이스 라우터 모델이 질문과 전문가 설명을 함께 보고 JSON 형식으로 전문가 하나 선택
• 선택된 전문가 에이전트가 실제 응답 생성, 응답과 함께 모델명·선택 이유를 UI에 표시
• 대화 기록을 저장하고, 로딩 상태와 모델 인디케이터로 라우팅 과정을 시각화

선택 이유

• 모든 요청을 하나의 LLM에 맡기지 않고 작업 성격에 맞는 모델을 쓰기 위한 구조
• 정확성, 창의성, 속도, 비용 등 우선순위가 다른 요청에 대응하기 위한 라우팅 필요성
• 선택 이유를 사용자에게 드러내어 신뢰성과 투명성 강화

적용해볼 점

• 질문 분류와 모델 선택을 분리한 라우팅 패턴
• 고성능 모델 호출을 줄여 비용 최적화 가능성
• 기능별 전문가 모델을 묶는 모듈형 확장 구조