Velopers
모든 태그
태그

Kafka 기술 블로그 글

Kafka 태그가 달린 국내 IT 기업 기술 블로그 글을 최신순으로 모았습니다.

전체 279개최신 20개 표시
홈에서 필터

관련 태그

#Redis199#CDC45#AWS839#모니터링311#MSA189#Java180#동시성111#MongoDB73#JPA58#transaction53#event47#OpenStack21

최신 게시글

20개 표시

데브옵스

최소한으로 울리는 알림 만들기: 비정상 병원 알림

Kafka 기반 병원 판정 흐름에 Redis와 Slack 알림을 결합해 에이전트 연결 끊김을 조기 감지했습니다.\n발송 지연·중복·복구 기준을 설계해 대응이 필요한 알림만 전달하도록 했습니다.

#MongoDB#Kafka#Redis
000

데브옵스

사내 인프라 플랫폼 배럭 구축기

인프라 티켓 반복 업무를 신청·승인·배포 포털로 전환한 배럭 구축 사례를 소개했습니다. 기존 ArgoCD·Terraform 파이프라인을 재사용하며 안전한 셀프서비스를 구현했습니다.

#ArgoCD#Terraform#AWS
000

백엔드

고객의 취소할 권리를 보장하다

배송준비중 단계에서 막히던 주문 취소를 앱에서 직접 가능하게 바꾼 사례입니다. 배송유형별 마감 시점을 재정의하고 Kafka, Redis 락, SQS로 동시성과 장애를 처리했습니다.

#Kafka#Redis#동시성
7000

백엔드

때로는 오버엔지니어링이 필요합니다

레거시 문자 발송 데몬을 걷어내기 위해 CDC와 Kafka를 이용한 과도기 구조를 설계했습니다.수십 개 서비스를 한 번에 바꾸지 못하는 상황에서 안전한 전환과 관측성을 확보한 사례를 설명했습니다.

#CDC#Kafka#transaction
12900

백엔드

Logstash에서 Debezium CDC로 전환한 이유

PostgreSQL 조인 검색을 Elasticsearch로 옮기며 Logstash 폴링과 Debezium CDC를 비교했습니다. 삭제 반영 문제를 해결하기 위해 WAL 기반 CDC와 검색 서비스 분리를 적용했습니다.

#Elasticsearch#Logstash#Debezium
3300

백엔드

Inbox 패턴 기반 레거시 연동 비동기 전환 사례

레거시 연동 수신 구간을 Inbox 패턴으로 바꾸고 Kafka 비동기 처리로 분리한 사례를 정리했습니다. 응답 시간 단축, 중복 방지, 장애 복구 자동화까지 실측으로 검증했습니다.

#Inbox 패턴#Kafka#PostgreSQL
2400

백엔드

Kafka Rebalancing과 메시지 처리 병목 개선

Kafka Rebalancing 원인을 메시지 처리 지연과 DB 저장 병목에서 찾고, 운영 완화를 위해 설정을 조정했습니다. 이후 Batch Insert로 처리 시간을 줄여 반복 Rebalancing을 완화했습니다.

#Kafka#JPA#SQL
4700

기타

5년, 340개의 이야기로 이어온 개발 문화

채널 엔지니어링 팀의 Dev Session 문화와 운영 방식을 소개했습니다. 5년간 축적된 경험이 팀 자산이 되고 외부로도 확장되는 과정을 담았습니다.

#문화#세미나#Kafka
8300

백엔드

스파이크 테스트를 활용한 TPS 검증

선상-육상 메시지 재전송 파이프라인의 TPS 제한을 검증하기 위해 스파이크 테스트를 적용했습니다. 재발행 폭주와 즉시 재시도 때문에 유실이 발생했고, 속도 제한과 지수 백오프로 개선했습니다.

#성능#k6#JMeter
2300

백엔드

[구축사례] 흩어진 운영 데이터를 하나로, kt cloud 운영 데이터 통합 플랫폼 Deck 구축기

흩어진 클라우드 운영 데이터를 하나의 기준으로 모으기 위해 레이크하우스 기반 통합 플랫폼 Deck 구축 과정을 소개했습니다. Object Storage를 SSOT로 두고 레이어를 분리해 과금과 분석의 신뢰성을 높였습니다.

#Airflow#Kafka#Spark
2900

백엔드

기술블로그 세 번째 책 《요즘 우아한 백엔드 개발》 출간

우아한형제들 기술블로그 글을 엮은 《요즘 우아한 백엔드 개발》 출간 소식입니다. 아키텍처, 트래픽, 데이터, AI 활용 사례를 현장 경험 중심으로 담았습니다.

#Java#Kotlin#Spring Boot
2700

백엔드

실패한 메시지는 어디로 가야 할까?- Kafka Retry/DLT 설계와 운영에서 밟은 3가지 함정

Kafka 컨슈머의 실패 메시지를 Retry/DLT로 어떻게 다룰지 설계와 운영 관점에서 정리한 글입니다.\n운영 중 마주친 함정 3가지를 통해 재처리 경로와 실패 처리 전략을 살펴봅니다.

#Kafka
7500

아키텍처

[기술사례] OVN ACL Flow Sampling 기반 VPC Flow Log 서비스 개발

OVN ACL Flow Sampling을 활용해 VPC Flow Log 서비스를 개발한 사례를 다뤘습니다. 로컬 I/O 부담을 줄이고 OVSDB 캐시로 메타데이터를 결합해 고속 로깅 구조를 구현했습니다.

#OVN#IPFIX#Kafka
1100

프론트엔드

토스의 디바이스 팜 만들기

팀마다 각자 관리하던 실기기 환경을 사내 디바이스 팜 네뷸라로 통합한 과정을 소개했습니다. Appium 대신 자체 드라이버와 실시간 미러링 구조로 속도와 운영성을 높였습니다.

#node.js#API#Kafka
14300

백엔드

사람은 떠났는데 권한은 남았다

관계 원천과 인가 튜플을 Outbox·CDC·Kafka로 동기화해 잔존 권한 문제를 줄이는 구성을 다뤘습니다. 부분 실패, 캐시, 감사 이력까지 함께 고려한 운영 포인트도 정리했습니다.

#Kafka#CDC#Outbox
4600

데브옵스

Grafana Mimir에 Kafka를 도입하기 전 미리 알았다면

Grafana Mimir에 Kafka 기반 ingest-storage architecture를 도입한 경험과 운영상의 함정을 정리했습니다. partition과 ingester ordinal의 1:1 결합, backlog replay, scale-in 절차가 핵심 포인트였습니다.

#Grafana Mimir#Kafka#Kubernetes
20600

데브옵스

[구축사례] IPFIX와 Goflow2로 구현한 kt cloud Network 미터링 내재화

OVN 전환으로 기존 미터링 방식이 막히자 IPFIX와 Goflow2로 새 과금 계측 체계를 구축했습니다. 로컬 캐시 매핑과 자원 격리로 정확도와 성능을 함께 확보했습니다.

#IPFIX#Goflow2#OVN
1200

아키텍처

천만 MAU를 지탱하는 커뮤니티 시스템을 소개해요

천만 MAU를 버티기 위한 커뮤니티 시스템의 구조와 선택을 소개했습니다. 웹앱과 서버앱, 모듈과 이벤트 분리로 확장성과 운영성을 함께 확보한 사례입니다.

#MSA#모듈형 모놀리스#Redis
19401

백엔드

순서대로, 한 번만, 빠르게

Airbridge는 Kafka 이벤트 처리에서 마이크로 배치 병목을 줄이기 위해 Differential 구조를 도입했습니다. 순서 보장과 중복 방지를 유지하면서 처리 속도를 10배 이상 높였습니다.

#Kafka#gRPC#event
5400

아키텍처

더 빠르게, 그리고 무너지지 않게 — 전시 아키텍처 개선기 (1/3)

전시 상품 API의 Redis 병목과 캐시 단일 의존 문제를 구조적으로 개선했습니다. Kafka CDC, 병렬 처리, 다단계 조회로 더 빠르고 무너지지 않는 서빙 구조를 만들었습니다.

#Redis#MongoDB#Kafka
4900