백엔드
트랜잭션리스, 완벽한 CDC(Change Data Capture) 시스템 구축법
두줄요약
트랜잭션 롤백과 중복 조회에 의존하던 CDC의 한계를 짚고, QueryPie의 쿼리 시뮬레이션 기반 접근을 소개했습니다. DBMS 부하를 줄이면서도 변경 전후 데이터를 확보하는 구조와 효과를 설명했습니다.
문제 상황
- 트랜잭션 기반 CDC에서 롤백과 중복 조회로 인한 DBMS 부하 증가
- NoSQL 포함 다양한 DBMS 환경에서의 구현 제약과 종속성 문제
- 변경 이력 기록 요구가 강화되는 규제·보안 환경
원인 분석
- 변경 전후 데이터를 얻기 위해 트랜잭션 롤백에 의존
- 동일 테이블을 반복 조회해야 하는 비효율
- 트리거, 타임스탬프, binlog 방식도 DBMS 수정이 필요해 이식성 저하
해결 방법
- QSI(Query Structure Interface)로 쿼리를 분석해 대상 테이블과 변경 범위 파악
- DB에 재조회하지 않고 변경 전 데이터를 바탕으로 변경 후 결과를 시뮬레이션
- 결과를 CSV로 변환해 내부 DBMS에 저장
성능/운영 포인트
- 롤백과 추가 업데이트를 제거해 DBMS 부하 감소
- 트랜잭션 기반 CDC 대비 약 35% 빠른 처리 목표
- DBMS 수정 없이 설치 즉시 사용 가능한 구조