![[구축사례] 흩어진 운영 데이터를 하나로, kt cloud 운영 데이터 통합 플랫폼 Deck 구축기](https://img1.daumcdn.net/thumb/R800x0/?scode=mtistory2&fname=https%3A%2F%2Fblog.kakaocdn.net%2Fdna%2FcOrvZa%2FdJMcaf1OWnH%2FAAAAAAAAAAAAAAAAAAAAAHOhGvIoQJXVCSaY_wSym704DjsmqhrobF8SUnOHpvGI%2Fimg.png%3Fcredential%3DyqXZFxpELC7KVnFOS48ylbz2pIh7yKj8%26expires%3D1788188399%26allow_ip%3D%26allow_referer%3D%26signature%3DTKnYTYaT32EfC837ojbsZPVXKH4%253D)
[구축사례] 흩어진 운영 데이터를 하나로, kt cloud 운영 데이터 통합 플랫폼 Deck 구축기
흩어진 클라우드 운영 데이터를 하나의 기준으로 모으기 위해 레이크하우스 기반 통합 플랫폼 Deck 구축 과정을 소개했습니다. Object Storage를 SSOT로 두고 레이어를 분리해 과금과 분석의 신뢰성을 높였습니다.
#Airflow#Kafka
1900
필터 1
실패한 메시지는 어디로 가야 할까?- Kafka Retry/DLT 설계와 운영에서 밟은 3가지 함정
Kafka 컨슈머의 실패 메시지를 Retry/DLT로 어떻게 다룰지 설계와 운영 관점에서 정리한 글입니다.\n운영 중 마주친 함정 3가지를 통해 재처리 경로와 실패 처리 전략을 살펴봅니다.
#Kafka
5800
![[기술사례] OVN ACL Flow Sampling 기반 VPC Flow Log 서비스 개발](https://img1.daumcdn.net/thumb/R800x0/?scode=mtistory2&fname=https%3A%2F%2Fblog.kakaocdn.net%2Fdna%2Fy3w5v%2FdJMcahk6tJf%2FAAAAAAAAAAAAAAAAAAAAAPZ8wBpEHFYguKZ5Q1M5nU51B3Sx7kHRw64Av01ZA7HU%2Fimg.png%3Fcredential%3DyqXZFxpELC7KVnFOS48ylbz2pIh7yKj8%26expires%3D1785509999%26allow_ip%3D%26allow_referer%3D%26signature%3DIpqWbRxfXDQv2howf6ekH961omQ%253D)
[기술사례] OVN ACL Flow Sampling 기반 VPC Flow Log 서비스 개발
OVN ACL Flow Sampling을 활용해 VPC Flow Log 서비스를 개발한 사례를 다뤘습니다. 로컬 I/O 부담을 줄이고 OVSDB 캐시로 메타데이터를 결합해 고속 로깅 구조를 구현했습니다.
#OVN#IPFIX
500
토스의 디바이스 팜 만들기
팀마다 각자 관리하던 실기기 환경을 사내 디바이스 팜 네뷸라로 통합한 과정을 소개했습니다. Appium 대신 자체 드라이버와 실시간 미러링 구조로 속도와 운영성을 높였습니다.
#node.js#API
10700
사람은 떠났는데 권한은 남았다
관계 원천과 인가 튜플을 Outbox·CDC·Kafka로 동기화해 잔존 권한 문제를 줄이는 구성을 다뤘습니다. 부분 실패, 캐시, 감사 이력까지 함께 고려한 운영 포인트도 정리했습니다.
#Kafka#CDC
3800
Grafana Mimir에 Kafka를 도입하기 전 미리 알았다면
Grafana Mimir에 Kafka 기반 ingest-storage architecture를 도입한 경험과 운영상의 함정을 정리했습니다. partition과 ingester ordinal의 1:1 결합, backlog replay, scale-in 절차가 핵심 포인트였습니다.
#Grafana Mimir#Kafka
19100
Velopers 추천광고
쿠팡 파트너스
개발자를 위한 인기 상품을 확인해 보세요
이 게시물은 쿠팡 파트너스 활동의 일환으로, 이에 따른 일정액의 수수료를 제공받습니다.
#개발자#노트북#컴퓨터
![[구축사례] IPFIX와 Goflow2로 구현한 kt cloud Network 미터링 내재화](https://img1.daumcdn.net/thumb/R800x0/?scode=mtistory2&fname=https%3A%2F%2Fblog.kakaocdn.net%2Fdna%2Fcj4PMV%2FdJMcacRqcDq%2FAAAAAAAAAAAAAAAAAAAAAOYlts0JSJKuD3pAWZfnxC9JOJxfbOuwokIYlhEie5G7%2Fimg.png%3Fcredential%3DyqXZFxpELC7KVnFOS48ylbz2pIh7yKj8%26expires%3D1785509999%26allow_ip%3D%26allow_referer%3D%26signature%3DPBWpU7Vn4Vk5wvZf1%252FO2XIkO72w%253D)
[구축사례] IPFIX와 Goflow2로 구현한 kt cloud Network 미터링 내재화
OVN 전환으로 기존 미터링 방식이 막히자 IPFIX와 Goflow2로 새 과금 계측 체계를 구축했습니다. 로컬 캐시 매핑과 자원 격리로 정확도와 성능을 함께 확보했습니다.
#IPFIX#Goflow2
1100
천만 MAU를 지탱하는 커뮤니티 시스템을 소개해요
천만 MAU를 버티기 위한 커뮤니티 시스템의 구조와 선택을 소개했습니다. 웹앱과 서버앱, 모듈과 이벤트 분리로 확장성과 운영성을 함께 확보한 사례입니다.
#MSA#모듈형 모놀리스
14901
순서대로, 한 번만, 빠르게
Airbridge는 Kafka 이벤트 처리에서 마이크로 배치 병목을 줄이기 위해 Differential 구조를 도입했습니다. 순서 보장과 중복 방지를 유지하면서 처리 속도를 10배 이상 높였습니다.
#Kafka#gRPC
4200
더 빠르게, 그리고 무너지지 않게 — 전시 아키텍처 개선기 (1/3)
전시 상품 API의 Redis 병목과 캐시 단일 의존 문제를 구조적으로 개선했습니다. Kafka CDC, 병렬 처리, 다단계 조회로 더 빠르고 무너지지 않는 서빙 구조를 만들었습니다.
#Redis#MongoDB
4500
산업용 IoT의 표준, MQTT
산업용 IoT에서 MQTT의 Publish/Subscribe 구조와 QoS, Topic 기반 관리 방식을 소개했습니다.\n제한된 네트워크 환경에서도 확장성과 실시간성을 확보하는 활용 포인트를 정리했습니다.
#MQTT#IoT
3600
옴니채널 재고 정합성 한계에 대응하는 인벤토리 데이터 파이프라인 구축기
옴니채널 재고 정합성과 확장성 문제를 해결하기 위해 인벤토리 데이터 파이프라인을 이벤트 기반으로 재설계했습니다. Spring Batch, Kafka Fan-Out, Push/Pull 분리로 리드타임과 부하를 줄였습니다.
#Kafka#Spring Batch
14600
설문 관리 서비스 구현 사례
의료 설문 플랫폼에서 설문 정의와 수집을 담당하는 서비스를 헥사고날 구조와 CQRS로 설계했습니다. Master/Snapshot, Kafka, Outbox 등을 적용해 정합성과 운영 안정성을 확보했습니다.
#Java#Spring Boot
1400
[인프라를 소프트웨어처럼 2/5] 코드가 모르는 그 '환경'은 누가 만드는가
플랫폼팀이 코드 바깥의 환경 실체를 선언으로 만드는 방식을 설명했습니다. Kafka 토픽 선언과 검증, 추적 가능한 거버넌스 사례를 다뤘습니다.
#Terraform#YAML
800