국내 IT 기업 기술 블로그 최신 글

필터 1
LangChain: LLM 서비스를 어떻게 개발할 수 있을까?
빅웨이브에이아이
AI

LangChain: LLM 서비스를 어떻게 개발할 수 있을까?

LangChain을 활용해 LLM 애플리케이션을 만드는 방법을 소개했습니다. 또한 LangSmith, Retrieval, Agent, 서빙까지 개발 흐름을 예제로 정리했습니다.

#LangChain#LLM
3300
ML gpu model server 성능을 유지하며 cpu server로 전환한 경험 공유
네이버 플레이스
백엔드

ML gpu model server 성능을 유지하며 cpu server로 전환한 경험 공유

GPU 모델 서버를 CPU 서버로 전환하면서 성능 저하를 막기 위해 worker, thread, IPEX, KD를 함께 최적화했습니다. 그 결과 서비스 품질을 유지하며 GPU 자원을 절감했습니다.

#ML#server
1900
이미지 처리를 위한 파이썬 서버 프레임워크 선정기 with Django, FastAPI, Sanic
카카오페이
백엔드

이미지 처리를 위한 파이썬 서버 프레임워크 선정기 with Django, FastAPI, Sanic

얼굴 인식과 OCR을 위한 이미지 처리 서버 프레임워크 선정 과정을 다뤘습니다. Django, FastAPI, Sanic을 비교해 선택 기준을 정리했습니다.

#Python#Django
2500
AWS Inferentia를 이용한 모델 서빙 비용 최적화: 모델 서버 비용 2배 줄이기 2탄
스캐터랩 핑퐁
AI

AWS Inferentia를 이용한 모델 서빙 비용 최적화: 모델 서버 비용 2배 줄이기 2탄

AWS Inferentia 기반 TensorFlow 모델 서빙의 정합성 검증과 EKS 배포 과정을 소개했습니다. 토크나이저 분리와 동적 배치로 처리량을 높이고 비용 절감 가능성을 확인했습니다.

#AWS#Inferentia
200
로플랫의 서비스 개발팀을 소개합니다.
로플랫
기타

로플랫의 서비스 개발팀을 소개합니다.

Wi-Fi 기반 실내 위치 인프라와 이를 활용한 오프라인 분석 서비스를 소개했습니다. Python·FastAPI와 React를 중심으로 대규모 트래픽과 데이터 집계를 운영합니다.

#위치정보#Python
1900