아키텍처
아자르 Data Lifecycle Policy 개발하기
두줄요약
아자르의 개인정보 삭제 정책 시스템을 이벤트 기반으로 설계한 사례를 소개했습니다. 예약부와 처리부를 분리하고 Kafka, Databricks로 무손실 처리와 백필을 지원했습니다.
핵심 내용
- 아자르의 개인정보 삭제 정책(DLP) 시스템 설계와 구현 방식 소개
- 예약부와 처리부를 분리한 이벤트 기반 아키텍처로 개인정보 삭제를 예약·실행
- Privacy Type으로 레코드·필드 단위 보관 기간을 다르게 관리하고, 마이크로 서비스별 삭제 책임 분산
- 트랜잭셔널 아웃박스, Kafka ack/Manual Commit, Batch Listener, nack을 활용해 무손실 처리와 멱등성 고려
- Databricks와 카프카를 이용한 백필로 대규모 재처리와 이벤트 재발행 지원
적용해볼 점
- 개인정보 삭제와 같은 도메인은 예약과 실행 책임을 분리해 운영 복잡도 감소
- 데이터 성격별 보관 정책은 공통 타입으로 추상화해 확장성 확보
- 대량 처리와 재처리에는 이벤트 기반, 배치, 오프셋 관리, DLQ 전략을 함께 검토