실행은 격리하고, 세션은 이어간다: 망분리 환경의 Agent Platform 설계기
망분리 환경에서 에이전트 코드를 격리하고 파일·네트워크 접근을 제한하는 플랫폼 구조를 소개합니다. PV와 하네스 상태, 공통 실행 기록을 분리해 Pod 교체 뒤에도 대화를 이어가는 방식을 설명합니다.
#Kubernetes#OpenSandbox#Linux
6300
모든 블로그
대표 인기 포스트캐시를 적용하기 까지의 험난한 길 (TPS 1만 안정적으로 서비스하기)499 조회499 조회 데브옵스 데브옵스
데브옵스
데브옵스 데브옵스 데브옵스 데브옵스
데브옵스
데브옵스
데브옵스
데브옵스
데브옵스
데브옵스
데브옵스
데브옵스
토스
도메인toss.tech
주요 카테고리 프론트엔드 · AI
활동 요약
- 최근 30일
- 7개
- 평균 조회
- 98
- 누적 조회
- 24,617
- 전체 글
- 252개
- 마지막 발행
- 2026. 11. 10.
토스 기술 블로그 글 (15)
Spark Connect on Kubernetes #2: Operator로 만드는 Control Plane
Spark Operator와 Tenant Operator를 분리해 Spark Connect 서버의 복구·교체를 제어했습니다. Blue-Green 전환, readiness 개선, glibc arena 제한으로 세션과 메모리 문제를 다뤘습니다.
#Spark#Kubernetes#Apache Spark Operator
2300
CPU 뼛속까지 써먹고, Milvus 사이징 기준을 만들기까지
Milvus 벡터 검색의 품질·처리량 기준으로 HNSW_SQ8을 선택하고 NUMA 배치를 최적화했습니다. 같은 자원에서 QPS를 41% 높이고 검색 조건 기반 서버 사이징 기준을 만들었습니다.
#Milvus#벡터 검색#HNSW
2300
CPU 뼛속까지 써먹고, Milvus 사이징 기준을 만들기까지
Milvus 벡터 검색에서 HNSW_SQ8과 NUMA 배치를 최적화해 품질을 유지하며 QPS를 41% 높였습니다. 검색 조건과 자원 측정값을 연결해 서버 사이징 기준을 만들었습니다.
#Milvus#벡터 검색#HNSW
1800
Spark Connect on Kubernetes #1: 견고한 Spark Connect 만들기
Spark Connect를 멀티세션 서비스로 운영하며 생기는 단일 장애점과 리소스 경합 문제를 다뤘습니다. replica, Gateway, 부하 점수 기반 세션 배치로 안정성을 높인 과정을 정리했습니다.
#Spark#Kubernetes#gRPC
7200
Apache Flink + RocksDB 튜닝으로 광고 Frequency Capping 실시간 집계를 일주일까지 확장하기
Apache Flink와 RocksDB 튜닝으로 광고 Frequency Capping 실시간 집계를 7일 구간까지 확장한 사례를 다루었습니다. 세 개의 Flink 앱으로 분리해 병목을 각각 해결하고 Redis 단일 조회 구조로 단순화했습니다.
#Apache Flink#RocksDB#Kafka
11300
경계 보안부터 제로트러스트 보안까지, 고도화 여정
토스페이먼츠가 경계보안부터 제로트러스트까지 보안 체계를 단계적으로 고도화한 과정을 공유했습니다. IDC와 AWS 하이브리드 환경에서 다층 방어와 지속 검증 체계를 구축했습니다.
#cloud#AWS#Kubernetes
10000
레거시 인프라 작살내고 하이브리드 클라우드 만든 썰
레거시 인프라를 정리하고 OpenStack 기반 프라이빗 클라우드를 새로 구축했습니다. AWS와 Active-Active 하이브리드로 운영하며 자동화와 고가용성을 확보했습니다.
#OpenStack#AWS#Kubernetes
11700
수천 개의 API/BATCH 서버를 하나의 설정 체계로 관리하기
수천 개의 API/BATCH 서버 설정을 하나의 체계로 관리하는 방법을 소개했습니다. 오버레이, 템플릿, 선언형 설정과 동적 프로비저닝으로 설정을 진화시킨 사례를 다뤘습니다.
#Kubernetes#AWS#Java
15600
GPU를 밀도 있게 쓰는 방법 - 토스증권의 GPU 가상화(MIG) 도입기
토스증권이 H100 GPU의 자원 낭비를 줄이기 위해 MIG 기반 GPU 가상화를 도입한 과정을 정리했습니다. Kubernetes 연동과 모니터링 설정까지 포함해 운영 관점의 적용 방법을 설명했습니다.
#MIG#Kubernetes#모니터링
15500
토스증권 Apache Kafka 데이터센터 이중화 구성 #2: 데이터 미러링
토스증권의 Active-Active Kafka 이중화에서 동일한 토픽명 미러링과 무한 루프 방지 방식을 소개했습니다. DLQ, 커스텀 메트릭, 클러스터 분리로 정합성과 운영성을 높인 사례입니다.
#Kafka#Kubernetes#ClickHouse
4100
LLM 쉽고 빠르게 서빙하기
LLM을 서비스에 적용할 때의 속도와 서빙 복잡도를 줄이는 방법을 소개했습니다. vllm, Triton, Kserve를 활용해 쉽게 배포하고 운영하는 흐름을 정리했습니다.
#LLM#Triton Inference Server#Kubernetes
5800
고성능 GPU 클러스터 도입기 #2: 이주하는 데이터
고성능 GPU 클러스터에서 발생하는 통신 비용과 병목 구간을 하드웨어 관점에서 정리했습니다. 스토리지, 서버 내 GPU, 서버 간 통신에 맞춰 NVMe SSD, NVLink, NVSwitch, InfiniBand 선택을 제안했습니다.
#LLM#GPU#NVLink
3500
대규모 CDC Pipeline 운영을 위한 Debezium 개선 여정
Debezium 기반 CDC 파이프라인의 운영 지표와 개선 방법을 정리한 글입니다. end-to-end 지연, 처리량, 확장성 개선으로 생성과 복구 시간을 줄인 사례를 소개했습니다.
#Debezium#Kafka#CDC
5400
200여개 서비스 모노레포의 파이프라인 최적화
토스 프론트엔드의 대규모 모노레포 CI/CD 최적화 사례를 소개했습니다. 병렬 파이프라인과 사전 복제, SSR 번들링으로 빌드와 배포 시간을 크게 줄였습니다.
#모노레포#CI/CD#Docker
3000