

Logstash에서 Debezium CDC로 전환한 이유
PostgreSQL 조인 검색을 Elasticsearch로 옮기며 Logstash 폴링과 Debezium CDC를 비교했습니다. 삭제 반영 문제를 해결하기 위해 WAL 기반 CDC와 검색 서비스 분리를 적용했습니다.
#Elasticsearch#Logstash
3300
새로운 기술 블로그가 추가되었어요


PostgreSQL 조인 검색을 Elasticsearch로 옮기며 Logstash 폴링과 Debezium CDC를 비교했습니다. 삭제 반영 문제를 해결하기 위해 WAL 기반 CDC와 검색 서비스 분리를 적용했습니다.
다나와 상품 색인 파이프라인을 logstash로 이관해 유지보수성을 높이고 MQ 의존성을 줄였습니다. 1G 로그 처리 테스트에서는 기존 대비 처리 시간이 크게 줄어 성능 개선도 확인했습니다.

서버 로그를 터미널에서 직접 보던 불편함을 해결하기 위해 ELK 스택을 적용한 과정을 정리했습니다. Spring Boot와 Nginx 로그를 Kibana에서 조회하고 검색하는 방법까지 소개했습니다.