
LangChain: LLM 서비스를 어떻게 개발할 수 있을까?
LangChain을 활용해 LLM 애플리케이션을 만드는 방법을 소개했습니다. 또한 LangSmith, Retrieval, Agent, 서빙까지 개발 흐름을 예제로 정리했습니다.
#LangChain#LLM
3300

LangChain을 활용해 LLM 애플리케이션을 만드는 방법을 소개했습니다. 또한 LangSmith, Retrieval, Agent, 서빙까지 개발 흐름을 예제로 정리했습니다.


GPU 모델 서버를 CPU 서버로 전환하면서 성능 저하를 막기 위해 worker, thread, IPEX, KD를 함께 최적화했습니다. 그 결과 서비스 품질을 유지하며 GPU 자원을 절감했습니다.

얼굴 인식과 OCR을 위한 이미지 처리 서버 프레임워크 선정 과정을 다뤘습니다. Django, FastAPI, Sanic을 비교해 선택 기준을 정리했습니다.

AWS Inferentia 기반 TensorFlow 모델 서빙의 정합성 검증과 EKS 배포 과정을 소개했습니다. 토크나이저 분리와 동적 배치로 처리량을 높이고 비용 절감 가능성을 확인했습니다.

Wi-Fi 기반 실내 위치 인프라와 이를 활용한 오프라인 분석 서비스를 소개했습니다. Python·FastAPI와 React를 중심으로 대규모 트래픽과 데이터 집계를 운영합니다.