모든 태그
태그

Triton Inference Server 기술 블로그 글

Triton Inference Server 태그가 달린 국내 IT 기업 기술 블로그 글을 최신순으로 모았습니다.

전체 5개최신 5개 표시
홈에서 필터

최신 게시글

5개 표시

AI

AI, 고객 행동의 순서를 읽다: 카카오뱅크 시퀀스 기반 FDS 모델 개발기

카카오뱅크가 보이스피싱 대응을 위해 거래 단위가 아닌 고객 행동 시퀀스를 분석하는 FDS 모델을 개발했습니다. ViT 변형, XAI, 실시간 서빙으로 대규모 탐지를 빠르게 처리했습니다.

#FDS#시계열 분류#Transformer
8000

AI

오늘의집 렌즈 - 텍스트를 넘어 이미지로 확장되는 검색 경험

오늘의집은 이미지 속 상품 탐색을 위해 객체 탐지와 벡터 검색 기반의 오집렌즈를 구축했습니다. 유저 인터랙션 로그를 활용해 탐지 결과와 이미지 유사도 모델을 지속 개선합니다.

#이미지 검색#객체 탐지#Grounding-DINO
000

데브옵스

효율적 시맨틱 검색을 위한 kubernetes GPU inference 시스템 구축하기

Kubernetes에 GPU 기반 Triton 추론 서버를 구축해 시맨틱 검색을 실시간으로 처리한 사례를 정리했습니다. ONNX 최적화와 배치·모니터링·배포 자동화로 성능과 운영 효율을 높였습니다.

#Kubernetes#GPU#ONNX
6800

데브옵스

LLM 쉽고 빠르게 서빙하기

LLM을 서비스에 적용할 때의 속도와 서빙 복잡도를 줄이는 방법을 소개했습니다. vllm, Triton, Kserve를 활용해 쉽게 배포하고 운영하는 흐름을 정리했습니다.

#LLM#Triton Inference Server#Kubernetes
5700

AI

Tritony를 활용한 추론요청 간소화

Triton gRPC Client와 Tritony로 VAD 모델에 추론 요청하는 과정을 비교했습니다. Tritony가 요청 구성과 데이터 전달 코드를 간소화하는 방식을 소개합니다.

#Triton Inference Server#Python#gRPC
100