모든 태그
태그

Kafka 기술 블로그 글

Kafka 태그가 달린 국내 IT 기업 기술 블로그 글을 최신순으로 모았습니다.

최근 30일 3개 · 많이 쓴 회사 마켓컬리·올리브영·토스

전체 287개최신 20개 표시
홈에서 필터

Kafka 글을 많이 쓴 회사

최신 게시글

20개 표시

아키텍처

전시 데이터 플랫폼 THOR 1부 - 3.5억 개 상품 정보를 near-time으로

THOR는 Kafka와 MongoDB로 3.5억 건 전시 상품 정보를 near-time으로 갱신합니다. 도큐먼트 사전 조립, 샤딩, DLT·Highway로 조회 성능과 갱신 안정성을 확보했습니다.

#MongoDB#Kafka#CDC
1500

백엔드

비가 오면 사장님이 먼저 압니다: SSE로 만든 실시간 기상악화 알림

기상악화 상태를 파트너에게 즉시 알리기 위해 SSE 기반 실시간 알림 구조를 설계했습니다. Kafka fan-out과 연결·메모리·재연결 운영 전략을 함께 다뤘습니다.

#SSE#Kafka#Kubernetes
7700

데브옵스

Amazon MSK Express Broker에서 Kafka 트랜잭션 워크로드를 최적화하는 방법

MSK Express의 Kafka 트랜잭션 병목을 네트워크·코디네이터·클라이언트 한도로 분석했습니다. 묶음 크기와 프로듀서 수를 먼저 조정하고 병목별 확장 전략을 제시했습니다.

#AWS#Kafka#Amazon MSK
1200

백엔드

온라인 시험 답안 유실 방지를 위한 기술 도입기

온라인 시험 종료 시점의 저장·제출 요청 폭주와 답안 유실 위험을 분석했습니다. Kafka, 버전 제어, 상태 머신으로 안정적인 제출 처리를 구현했습니다.

#Kafka#Java#DB
3500

데브옵스

팀 이름을 DevOps가 아니라 Cloud Platform으로 지은 이유

Cloud Platform 팀을 별도 운영 대행 조직이 아닌 셀프서비스 플랫폼 조직으로 정의했습니다. Terraform·CI 검증으로 개발자와 AI 에이전트의 안전한 인프라 변경을 지원합니다.

#cloud#Kubernetes#Terraform
3700

기타

우리가 일해온 방식에 이름을 붙였습니다

채널 엔지니어링팀은 빠른 실행·깊은 탐구·공유를 순환시키는 업무 방식을 정의했습니다. AI 개발, 셀프서비스 배포, 기술 분석과 지식 아카이빙 사례를 소개합니다.

#개발 문화#CI/CD#DynamoDB
3300

아키텍처

끊기는 선육 간 네트워크에서 데이터 신뢰성 지키기

선박-육상 데이터 누락을 구간별로 추적하고 선상 복구·재전송·수신 검증까지 연결했습니다. 수집 완전성뿐 아니라 센서 이상 탐지로 데이터 값의 유효성도 관리합니다.

#Kafka#EMQX#데이터 정합성
1200

데브옵스

최소한으로 울리는 알림 만들기: 비정상 병원 알림

Kafka 기반 병원 판정 흐름에 Redis와 Slack 알림을 결합해 에이전트 연결 끊김을 조기 감지했습니다. 발송 지연·중복·복구 기준을 설계해 대응이 필요한 알림만 전달하도록 했습니다.

#MongoDB#Kafka#Redis
3600

데브옵스

사내 인프라 플랫폼 배럭 구축기

인프라 티켓 반복 업무를 신청·승인·배포 포털로 전환한 배럭 구축 사례를 소개했습니다. 기존 ArgoCD·Terraform 파이프라인을 재사용하며 안전한 셀프서비스를 구현했습니다.

#ArgoCD#Terraform#AWS
2200

백엔드

고객의 취소할 권리를 보장하다

배송준비중 단계에서 막히던 주문 취소를 앱에서 직접 가능하게 바꾼 사례입니다. 배송유형별 마감 시점을 재정의하고 Kafka, Redis 락, SQS로 동시성과 장애를 처리했습니다.

#Kafka#Redis#동시성
7700

백엔드

때로는 오버엔지니어링이 필요합니다

레거시 문자 발송 데몬을 걷어내기 위해 CDC와 Kafka를 이용한 과도기 구조를 설계했습니다.수십 개 서비스를 한 번에 바꾸지 못하는 상황에서 안전한 전환과 관측성을 확보한 사례를 설명했습니다.

#CDC#Kafka#transaction
15000

백엔드

Logstash에서 Debezium CDC로 전환한 이유

PostgreSQL 조인 검색을 Elasticsearch로 옮기며 Logstash 폴링과 Debezium CDC를 비교했습니다. 삭제 반영 문제를 해결하기 위해 WAL 기반 CDC와 검색 서비스 분리를 적용했습니다.

#Elasticsearch#Logstash#Debezium
4500

백엔드

Inbox 패턴 기반 레거시 연동 비동기 전환 사례

레거시 연동 수신 구간을 Inbox 패턴으로 바꾸고 Kafka 비동기 처리로 분리한 사례를 정리했습니다. 응답 시간 단축, 중복 방지, 장애 복구 자동화까지 실측으로 검증했습니다.

#Inbox 패턴#Kafka#PostgreSQL
2600

백엔드

Kafka Rebalancing과 메시지 처리 병목 개선

Kafka Rebalancing 원인을 메시지 처리 지연과 DB 저장 병목에서 찾고, 운영 완화를 위해 설정을 조정했습니다. 이후 Batch Insert로 처리 시간을 줄여 반복 Rebalancing을 완화했습니다.

#Kafka#JPA#SQL
6300

기타

5년, 340개의 이야기로 이어온 개발 문화

채널 엔지니어링 팀의 Dev Session 문화와 운영 방식을 소개했습니다. 5년간 축적된 경험이 팀 자산이 되고 외부로도 확장되는 과정을 담았습니다.

#문화#세미나#Kafka
8400

백엔드

스파이크 테스트를 활용한 TPS 검증

선상-육상 메시지 재전송 파이프라인의 TPS 제한을 검증하기 위해 스파이크 테스트를 적용했습니다. 재발행 폭주와 즉시 재시도 때문에 유실이 발생했고, 속도 제한과 지수 백오프로 개선했습니다.

#성능#k6#JMeter
2600

백엔드

[구축사례] 흩어진 운영 데이터를 하나로, kt cloud 운영 데이터 통합 플랫폼 Deck 구축기

흩어진 클라우드 운영 데이터를 하나의 기준으로 모으기 위해 레이크하우스 기반 통합 플랫폼 Deck 구축 과정을 소개했습니다. Object Storage를 SSOT로 두고 레이어를 분리해 과금과 분석의 신뢰성을 높였습니다.

#Airflow#Kafka#Spark
2900

백엔드

기술블로그 세 번째 책 《요즘 우아한 백엔드 개발》 출간

우아한형제들 기술블로그 글을 엮은 《요즘 우아한 백엔드 개발》 출간 소식입니다. 아키텍처, 트래픽, 데이터, AI 활용 사례를 현장 경험 중심으로 담았습니다.

#Java#Kotlin#Spring Boot
3500

백엔드

실패한 메시지는 어디로 가야 할까?- Kafka Retry/DLT 설계와 운영에서 밟은 3가지 함정

Kafka 컨슈머의 실패 메시지를 Retry/DLT로 어떻게 다룰지 설계와 운영 관점에서 정리한 글입니다. 운영 중 마주친 함정 3가지를 통해 재처리 경로와 실패 처리 전략을 살펴봅니다.

#Kafka
8000

아키텍처

[기술사례] OVN ACL Flow Sampling 기반 VPC Flow Log 서비스 개발

OVN ACL Flow Sampling을 활용해 VPC Flow Log 서비스를 개발한 사례를 다뤘습니다. 로컬 I/O 부담을 줄이고 OVSDB 캐시로 메타데이터를 결합해 고속 로깅 구조를 구현했습니다.

#OVN#IPFIX#Kafka
1100