백엔드
기획서 없이 내재화하기: 검증 로직으로 동일함을 증명하다
두줄요약
기획서가 없는 블랙박스 시스템을 내재화하며, 입력·출력 정의와 병렬 검증으로 동일성을 증명했습니다. Kafka와 CDC, OpenSearch를 활용해 조회·업데이트·E2E 전환을 안전하게 검증했습니다.
문제 상황
- 기획서·사양서·기존 코드가 없는 블랙박스 상태에서 외부 의존 모듈을 내재화해야 하는 상황
- 수천만 건 카탈로그와 수억 건 상품, 대규모 수신 파이프라인을 기존과 동일하게 옮겨야 하는 정합성 검증 부담
해결 방법
- 입력과 출력을 명확히 정의하고, 기존 시스템과 신규 시스템을 병렬 실행해 결과를 반복 비교하는 검증 루프 구축
- Kafka, CDC, OpenSearch, ksqlDB, Slack 알림을 활용해 비동기 검증, 차이 적재, 통계 확인, 디버깅 가시성 확보
- 조회, 업데이트, ETL 배치, E2E 수신 검증으로 나누어 블랙박스 로직, 지연, 누락 트리거까지 단계적으로 검증
성능/운영 포인트
- 비교 대상 필터링, 재시도 큐, 처리율 제한으로 노이즈와 비동기 지연을 제어
- OpenSearch 대시보드와 검증 전용 관리자 페이지로 오류 패턴과 단계별 상태를 빠르게 확인
- 신규 API 응답 시간까지 함께 측정해 정합성과 성능을 동시에 관찰
