백엔드
Neptune Stream을 통해 Neptune Database와 Neptune Analytics 간 데이터 동기화하기
두줄요약
Neptune Database와 Neptune Analytics 간 동기화 방안을 설명했습니다. 특히 Neptune Streams, Lambda, EventBridge를 활용한 준 실시간 연동과 체크포인트 관리에 초점을 맞췄습니다.
핵심 내용
- Neptune Database와 Neptune Analytics 간 데이터 동기화 방식 정리
- 배치 동기화는 Neptune Export, S3, Bulk Load 조합
- 준 실시간 동기화는 Neptune Streams, Lambda, EventBridge, S3 체크포인트 조합
구조와 흐름
- Neptune Stream 활성화 및 변경 레코드 수집
- S3에 마지막 성공 EventID 저장 후 이후 변경분만 처리
- 스트림 레코드를 OpenCypher로 변환해 Neptune Analytics에 적용
성능/운영 포인트
- EventID 기반 중복 처리 방지
- CloudWatch 로그와 재시도, DLQ로 복원력 보강
- 1분 주기 폴링으로 최신 분석 데이터 유지