Triton 기술 블로그 글

GPT-5.6가 최첨단 지능과 효율성을 결합하는 방식

How GPT-5.6 fuses frontier intelligence with frontier efficiency

GPT-5.6은 모델·추론·에이전트 하니스를 함께 최적화해 효율성을 높였습니다. GPT-5.6 Sol은 커널, 로드 밸런싱, speculative decoding 개선에 활용됐습니다.

생성형 AI 기반 실시간 검색 결과 재순위화 2편 - LLM 서빙

대규모 검색 재순위화를 위해 LLM 서빙 프레임워크와 최적화 방법을 비교하고, TRT-LLM과 Triton 조합을 채택했습니다. 양자화, 배치 조절, OpenTelemetry와 대시보드로 성능과 운영 가시성을 함께 확보했습니다.