생성형 AI 기반 실시간 검색 결과 재순위화 2편 - LLM 서빙
생성형 AI 기반 실시간 검색 결과 재순위화 2편 - LLM 서빙
대규모 검색 재순위화를 위해 LLM 서빙 프레임워크와 최적화 방법을 비교하고, TRT-LLM과 Triton 조합을 채택했습니다. 양자화, 배치 조절, OpenTelemetry와 대시보드로 성능과 운영 가시성을 함께 확보했습니다.
#LLM#gRPC
21005분
새로운 기술 블로그가 추가되었어요
필터 1
새로운 기술 블로그가 추가되었어요