전시 데이터 플랫폼 THOR 1부 - 3.5억 개 상품 정보를 near-time으로
THOR는 Kafka와 MongoDB로 3.5억 건 전시 상품 정보를 near-time으로 갱신합니다. 도큐먼트 사전 조립, 샤딩, DLT·Highway로 조회 성능과 갱신 안정성을 확보했습니다.

Kafka 태그가 달린 국내 IT 기업 기술 블로그 글을 최신순으로 모았습니다.
최근 30일 3개 · 많이 쓴 회사 마켓컬리·올리브영·토스
20개 표시
THOR는 Kafka와 MongoDB로 3.5억 건 전시 상품 정보를 near-time으로 갱신합니다. 도큐먼트 사전 조립, 샤딩, DLT·Highway로 조회 성능과 갱신 안정성을 확보했습니다.

기상악화 상태를 파트너에게 즉시 알리기 위해 SSE 기반 실시간 알림 구조를 설계했습니다. Kafka fan-out과 연결·메모리·재연결 운영 전략을 함께 다뤘습니다.
MSK Express의 Kafka 트랜잭션 병목을 네트워크·코디네이터·클라이언트 한도로 분석했습니다. 묶음 크기와 프로듀서 수를 먼저 조정하고 병목별 확장 전략을 제시했습니다.

온라인 시험 종료 시점의 저장·제출 요청 폭주와 답안 유실 위험을 분석했습니다. Kafka, 버전 제어, 상태 머신으로 안정적인 제출 처리를 구현했습니다.

Cloud Platform 팀을 별도 운영 대행 조직이 아닌 셀프서비스 플랫폼 조직으로 정의했습니다. Terraform·CI 검증으로 개발자와 AI 에이전트의 안전한 인프라 변경을 지원합니다.

채널 엔지니어링팀은 빠른 실행·깊은 탐구·공유를 순환시키는 업무 방식을 정의했습니다. AI 개발, 셀프서비스 배포, 기술 분석과 지식 아카이빙 사례를 소개합니다.
선박-육상 데이터 누락을 구간별로 추적하고 선상 복구·재전송·수신 검증까지 연결했습니다. 수집 완전성뿐 아니라 센서 이상 탐지로 데이터 값의 유효성도 관리합니다.

Kafka 기반 병원 판정 흐름에 Redis와 Slack 알림을 결합해 에이전트 연결 끊김을 조기 감지했습니다. 발송 지연·중복·복구 기준을 설계해 대응이 필요한 알림만 전달하도록 했습니다.

인프라 티켓 반복 업무를 신청·승인·배포 포털로 전환한 배럭 구축 사례를 소개했습니다. 기존 ArgoCD·Terraform 파이프라인을 재사용하며 안전한 셀프서비스를 구현했습니다.

배송준비중 단계에서 막히던 주문 취소를 앱에서 직접 가능하게 바꾼 사례입니다. 배송유형별 마감 시점을 재정의하고 Kafka, Redis 락, SQS로 동시성과 장애를 처리했습니다.
레거시 문자 발송 데몬을 걷어내기 위해 CDC와 Kafka를 이용한 과도기 구조를 설계했습니다.수십 개 서비스를 한 번에 바꾸지 못하는 상황에서 안전한 전환과 관측성을 확보한 사례를 설명했습니다.
PostgreSQL 조인 검색을 Elasticsearch로 옮기며 Logstash 폴링과 Debezium CDC를 비교했습니다. 삭제 반영 문제를 해결하기 위해 WAL 기반 CDC와 검색 서비스 분리를 적용했습니다.

레거시 연동 수신 구간을 Inbox 패턴으로 바꾸고 Kafka 비동기 처리로 분리한 사례를 정리했습니다. 응답 시간 단축, 중복 방지, 장애 복구 자동화까지 실측으로 검증했습니다.

Kafka Rebalancing 원인을 메시지 처리 지연과 DB 저장 병목에서 찾고, 운영 완화를 위해 설정을 조정했습니다. 이후 Batch Insert로 처리 시간을 줄여 반복 Rebalancing을 완화했습니다.

채널 엔지니어링 팀의 Dev Session 문화와 운영 방식을 소개했습니다. 5년간 축적된 경험이 팀 자산이 되고 외부로도 확장되는 과정을 담았습니다.
선상-육상 메시지 재전송 파이프라인의 TPS 제한을 검증하기 위해 스파이크 테스트를 적용했습니다. 재발행 폭주와 즉시 재시도 때문에 유실이 발생했고, 속도 제한과 지수 백오프로 개선했습니다.

흩어진 클라우드 운영 데이터를 하나의 기준으로 모으기 위해 레이크하우스 기반 통합 플랫폼 Deck 구축 과정을 소개했습니다. Object Storage를 SSOT로 두고 레이어를 분리해 과금과 분석의 신뢰성을 높였습니다.
우아한형제들 기술블로그 글을 엮은 《요즘 우아한 백엔드 개발》 출간 소식입니다. 아키텍처, 트래픽, 데이터, AI 활용 사례를 현장 경험 중심으로 담았습니다.
Kafka 컨슈머의 실패 메시지를 Retry/DLT로 어떻게 다룰지 설계와 운영 관점에서 정리한 글입니다. 운영 중 마주친 함정 3가지를 통해 재처리 경로와 실패 처리 전략을 살펴봅니다.
OVN ACL Flow Sampling을 활용해 VPC Flow Log 서비스를 개발한 사례를 다뤘습니다. 로컬 I/O 부담을 줄이고 OVSDB 캐시로 메타데이터를 결합해 고속 로깅 구조를 구현했습니다.