기획서 없이 내재화하기: 검증 로직으로 동일함을 증명하다
기획서가 없는 블랙박스 시스템을 내재화하며, 입력·출력 정의와 병렬 검증으로 동일성을 증명했습니다. Kafka와 CDC, OpenSearch를 활용해 조회·업데이트·E2E 전환을 안전하게 검증했습니다.
#Kafka#CDC#OpenSearch
12300

ksqlDB 태그가 달린 국내 IT 기업 기술 블로그 글을 최신순으로 모았습니다.
4개 표시
기획서가 없는 블랙박스 시스템을 내재화하며, 입력·출력 정의와 병렬 검증으로 동일성을 증명했습니다. Kafka와 CDC, OpenSearch를 활용해 조회·업데이트·E2E 전환을 안전하게 검증했습니다.

ksqlDB Join으로 뉴스탭 로그와 유저 클러스터 정보를 실시간 결합해 추천용 데이터를 만들었습니다. 외부 DB 조회를 줄이고 파티션과 조인 키를 맞춰 정확한 실시간 처리를 보장했습니다.

토스증권이 실시간 데이터 처리 플랫폼으로 ksqlDB를 선택한 이유와 운영 경험을 소개했습니다. 동시 접속 집계, 이상 탐지, CDC 조인, ML feature 생성 사례와 함께 장단점도 정리했습니다.
ksqlDB를 이용해 카프카 이벤트로부터 실시간 ML 피쳐를 계산하는 방법을 소개했습니다. 변환·필터링·윈도우 집계를 SQL만으로 구성하고, 제약과 주의점도 정리했습니다.
