삼성계정 서비스, 대규모 트래픽 속 Amazon MSK 를 이용한 무 중단 Database 스키마 전환

문제 상황

• 18억 사용자 규모 삼성 계정의 24/7 대규모 트래픽 환경에서 개인정보 컬럼 암호화와 DB 스키마 전환을 서비스 영향 없이 수행해야 하는 상황
• 운영 DB 직접 작업은 I/O 부하와 복구 난이도가 커서 별도 마이그레이션 경로가 필요
• 배치 방식은 권역당 한 달 이상 소요될 수준으로 대용량 실시간 마이그레이션에 부적합

해결 방법

• 운영 DB를 복제한 뒤 오프라인 복제 DB에서 암호화 마이그레이션을 진행하고, 준비된 migration service로 DNS 가중치 전환
• AWS MSK 기반 Kafka 파이프라인과 Debezium CDC/Snapshot, JDBC sink connector로 실시간 데이터까지 처리
• 암호화 결과와 해시 값을 스키마에 맞게 재가공해 저장하고, 롤백 대비 역방향 복호화 파이프라인으로 양방향 동기화 구성

주의할 점

• 암호화 결과가 매번 달라질 수 있어 인덱스 키로 쓰이는 값은 별도 해시 처리 필요
• 트래픽 전환 시 데이터 유실 방지를 위해 양쪽 DB의 실시간 동기화가 필수