삼성계정 서비스, 대규모 트래픽 속 Amazon MSK 를 이용한 무 중단 Database 스키마 전환
삼성 계정 서비스에서 대규모 트래픽을 유지한 채 개인정보 컬럼 암호화와 DB 스키마 전환을 수행한 사례를 소개했습니다. AWS MSK, Debezium, DNS 가중치 전환으로 무중단 마이그레이션과 롤백 대비를 구현했습니다.
#AWS#Kafka
8700
국내 IT 기업 기술 블로그 최신 글
새로운 기술 블로그가 추가되었어요
필터 1
로그 파이프라인 개선기 - 기존 파이프라인 문제 정의 및 해결 방안 적용
MSK와 커스텀 Consumer로 로그 파이프라인을 스트리밍 구조로 전환했습니다. 데이터 컨트랙트로 스키마를 통합 관리하고 신선도를 약 3분으로 단축했습니다.
#Kafka#MSK
000
사용자에서 데이터 엔지니어로, 쏘카 온보딩 회고
쏘카 데이터 엔지니어링팀 합류 후 온보딩과 프로젝트, 온콜 경험을 회고한 글입니다. 체계적인 문서화와 협업 문화가 실무 적응에 큰 도움이 되었다고 정리했습니다.
#Kubernetes#Airflow
3500
사용자에서 데이터 엔지니어로, 쏘카 온보딩 회고
체계적인 온보딩을 거쳐 운전 점수와 서버 로그 실시간 데이터 파이프라인 구축에 참여했습니다. 데이터 정합성 정책, Kubernetes 기반 운영, 온콜 대응을 통해 실무 적응 경험을 공유합니다.
#Kubernetes#Airflow
000
Debezium MSK Connect로 Failover 구현하여 서비스 안정성 높이기
Debezium MSK Connect 장애 대응을 위해 Heartbeat 모니터링과 Failover 복구 흐름을 구성했습니다. 신규 Connector 재생성, op 변환, AOP 공통화로 데이터 연속성과 안정성을 높였습니다.
#Debezium#MSK
4400
Kafka 메시지 중복 및 유실 케이스별 해결 방법
Kafka 메시지 중복과 유실을 Producer, Consumer, MSK 운영 구간별로 나누어 해결 방법을 정리했습니다. AWS MSK 환경에서 설정과 운영 포인트를 함께 점검할 수 있는 글입니다.
#Kafka#AWS
7400