Kafka와 ETL을 활용해 대용량 데이터 마이그레이션하기
대용량 이미지 데이터를 MySQL에서 MongoDB로 마이그레이션한 경험을 공유했습니다. Kafka, ETL, CDC를 조합해 동기화와 샤딩 최적화, 안정적 전환까지 진행했습니다.
#Kafka#ETL
5900
국내 IT 기업 기술 블로그 최신 글
새로운 기술 블로그가 추가되었어요
필터 1
spring batch lazy하게 의존하기
Spring Batch에서 특정 Job만 실행하려고 해도 다른 Job Bean 초기화 오류가 전체를 막는 문제를 다루었습니다. lazy initialization과 직접 만든 JobRunner로 필요한 Job만 늦게 로딩하는 방법을 설명했습니다.
#Spring Batch#lazy initialization
6100
ksqlDB를 활용한 증권사의 실시간 데이터 처리하기
토스증권이 실시간 데이터 처리 플랫폼으로 ksqlDB를 선택한 이유와 운영 경험을 소개했습니다. 동시 접속 집계, 이상 탐지, CDC 조인, ML feature 생성 사례와 함께 장단점도 정리했습니다.
#Kafka#ksqlDB
2800
우리는 어떻게 해외주식 서비스 안정화를 이뤘는가
해외주식 서비스의 브로커 지연과 데이터 병목 문제를 트래픽 제어, 자동 failover, MongoDB 도입으로 개선했습니다. 정규장 피크와 서비스 성장에 맞춰 기존 도구를 활용한 운영 안정화 사례를 소개했습니다.
#Kafka#MongoDB
3200
실시간 반응형 추천 개발 일지 #1. 프로젝트 소개
배민 검색 홈 추천에 실시간 행동 이력을 반영하는 추천 시스템을 소개했습니다. 3개 컴포넌트로 구성해 CTR과 주문전환율을 높였습니다.
#추천#Kafka
4300
전시 딜 내재화 프로젝트 회고: MongoDB 기반 데이터 구축과 API 개선 과정
전시 딜 정보를 내재화해 MongoDB 기반으로 전환한 과정을 회고했습니다. OracleDB 의존으로 생기던 조회·운영 비효율을 줄이려는 개선 사례입니다.
#MongoDB#API
4000
MongoDB Timeseries를 활용기
MongoDB Timeseries를 이용해 레거시 로그 서버를 수집·분석 플랫폼으로 재구성한 사례를 정리했습니다. 버킷 패턴, 조회 언팩 과정, 적재 포맷과 운영 고민을 함께 다뤘습니다.
#MongoDB#timeseries
200
MongoDB Timeseries를 활용기
MongoDB Timeseries를 활용기
MongoDB Timeseries의 Bucket Pattern과 내부 저장·조회 방식을 정리한 글입니다. 로그 수집용 TSDB 설계에서 메타데이터, TTL, 인덱스 전략을 함께 고민했습니다.
#MongoDB#Timeseries
3200
쿠팡 파트너스
개발자를 위한 서적을 확인해 보세요
이 게시물은 쿠팡 파트너스 활동의 일환으로, 이에 따른 일정액의 수수료를 제공받습니다.
#개발서적#프로그래밍
Oracle에서 MongoDB로의 CDC Pipeline 구축
Oracle에서 MongoDB로 초기 데이터 이관과 CDC 파이프라인 구축 경험을 공유했습니다. 관계형 DB에서 문서형 DB로의 변경 데이터 연동 흐름을 다뤘습니다.
#Oracle#MongoDB
2800
대용량 JSON
대용량 JSON 처리에서 발생한 OOM과 세션 제한 문제를 정리했습니다. 요청 지연, Kubernetes Job 분리, HTTP 스트리밍과 MongoDB 최적화로 안정성을 높였습니다.
#Java#Kubernetes
3700
올리브영 온라인몰의 전시, 그리고 백엔드 여정
올리브영 온라인몰 Home을 MSA 기반으로 전환한 배경과 데이터 서빙 구조를 소개했습니다. Static Data 분리, CircuitBreaker, 부하테스트로 세일 트래픽과 장애 전파에 대응했습니다.
#MSA#MongoDB
6700
MongoDB와 Transaction
Spring Boot와 MongoDB에서 `@Transactional` 사용 시 단일 인스턴스에서는 트랜잭션 오류가 발생했습니다. 레플리카 셋을 구성하고 primary에 연결해야 정상적으로 롤백과 커밋을 처리할 수 있었습니다.
#MongoDB#Transaction
3000
라이브채팅 플랫폼 구현기 2탄 : 아키텍처 및 성능 테스트
비동기 메시지 처리와 Kafka 중심의 분산 라이브채팅 아키텍처를 설계했습니다. k6 기반 성능 테스트로 브로커와 로드밸런싱 이슈를 개선했습니다.
#WebSocket#Kafka
000
라이브채팅 플랫폼 구현기 1탄 : 개발 언어 및 기반기술 조사
20만 동시 접속 실시간 채팅 요구를 위해 Kotlin·Spring Boot·WebSocket 기반을 선택했습니다.\nKafka 스트림과 아호-코라식으로 확장성과 실시간 금칙어 처리를 설계했습니다.
#Kotlin#Spring Boot
000