LLM 기반 서비스의 부하테스트
LLM 서비스는 TTFT, ITL, 토큰 처리량 같은 지표로 부하테스트해야 합니다.\nvLLM 예제를 통해 병목과 네트워크 문제를 점검하고 사용자 체감 성능을 개선할 수 있습니다.
#LLM#부하테스트
97005분
새로운 기술 블로그가 추가되었어요
필터 1
nGrinder를 활용한 부하테스트
nGrinder를 활용해 네이버페이 부동산 상세 페이지의 부하테스트 과정을 정리했습니다. 최대 TPS와 병목을 확인하고 SSR, 캐시, HPA 설정을 개선한 사례입니다.
#nGrinder#부하테스트
34005분
올리브영 온라인몰의 전시, 그리고 백엔드 여정
올리브영 온라인몰 Home을 MSA 기반으로 전환한 배경과 데이터 서빙 구조를 소개했습니다. Static Data 분리, CircuitBreaker, 부하테스트로 세일 트래픽과 장애 전파에 대응했습니다.
#MSA#MongoDB
59005분
쉽고 빠른 NodeJS 부하테스트 툴, autocannon
NodeJS 부하테스트 도구 autocannon으로 API 성능을 비교하는 방법을 소개했습니다. 쿼리스트링을 랜덤화하고 duration, connections 같은 옵션으로 실제와 가까운 부하를 재현했습니다.
#node.js#NestJS
31005분