데브옵스

상품데이터 Pipeline을 위한 Debezium MSK Connect

올리브영2024년 3월 11일

두줄요약

상품 데이터 동기화와 변경 이력 추적을 위해 Debezium CDC를 AWS MSK Connect에 적용한 사례를 소개했습니다. Oracle과 MySQL 설정, 플러그인 생성, 커넥터 구성 및 운영 포인트를 함께 정리했습니다.

상품 데이터 Pipeline과 Catalog Service용으로 Debezium CDC를 AWS MSK Connect의 Source Connector로 도입한 사례
MSA 전환 과정에서 Oracle, MySQL, MongoDB, Cassandra 등 다양한 DB 간 동기화와 변경 이력 추적 필요성 제시
Oracle과 MySQL 기준으로 트랜잭션 로그 기반 CDC 설정, 권한 부여, 아카이브 로그 및 binlog 활성화, 커스텀 플러그인 생성, 커넥터 구성 예시 정리
snapshot lock 방지, schema history 토픽, timezone 변환, changed field 추적, tasks.max=1 같은 운영 설정 포인트 공유