오픈소스 Trino를 활용한 전사 데이터 분석 시스템 구축기
오픈소스 Trino를 활용한 전사 데이터 분석 시스템 구축기
SK플래닛이 오픈소스 Trino를 전사 분석 엔진으로 도입해 실시간 데이터 조회 환경을 구축했습니다. 운영계 데이터 접근성과 소용량 쿼리 성능을 높이고 리포트 주기도 단축했습니다.
#Trino#Kafka
4200
국내 IT 기업 기술 블로그 최신 글
새로운 기술 블로그가 추가되었어요
필터 1
Kafka와 ETL을 활용해 대용량 데이터 마이그레이션하기
대용량 이미지 데이터를 MySQL에서 MongoDB로 마이그레이션한 경험을 공유했습니다. Kafka, ETL, CDC를 조합해 동기화와 샤딩 최적화, 안정적 전환까지 진행했습니다.
#Kafka#ETL
5900
다이내믹 스크래핑과 전월세대출 이동제의 실행
토스뱅크가 전월세대출과 대환 프로세스의 복잡한 수기 운영을 자동화로 개선한 사례를 소개했습니다. 다이내믹 스크래핑, LUMOS, 상태·사가 패턴으로 재시도와 롤백 가능한 구조를 만들었습니다.
#Kotlin#전략패턴
2500
전세대출에서 대외기관 신용정보를 조회하는 방법
전세대출 신용정보 조회를 MSA와 Redis, Kafka 기반으로 개선한 사례를 소개했습니다. 불필요한 폴링과 DB 적재를 줄이고 처리 속도와 장애 격리를 향상했습니다.
#Spring Boot#Kotlin
3900
모델 서빙 관리 도구 SELDON-CORE
Seldon Core를 이용한 모델 서빙 관리와 배포 흐름을 소개했습니다. Kubernetes 환경에서 모니터링과 A/B 테스트까지 함께 고려할 수 있었습니다.
#Kubernetes#ML
3500
당근페이 금융 거래 내역 Aggregator 개발기
당근페이는 여러 금융 서비스의 거래 내역을 한 화면에서 보여주기 위해 Aggregator를 도입했습니다. 목록 조회는 병렬 호출과 Pagination으로, 상세 조회는 Token으로 통합했습니다.
#Kotlin#MSA
4200
팀 레거시 개선 (2) 쏘카존 관리 시스템 - 차량재배치 리팩터링
거대 클래스에 섞인 Kinesis·비즈니스 로직을 Spring Kafka 기반 계층 구조로 분리했습니다. 상태별 처리에는 선택자를 도입해 테스트성과 확장성을 높였습니다.
#Kotlin#Kafka
000
쿠팡 파트너스
개발자를 위한 서적을 확인해 보세요
이 게시물은 쿠팡 파트너스 활동의 일환으로, 이에 따른 일정액의 수수료를 제공받습니다.
#개발서적#프로그래밍
애셋팀 레거시 개선 (2) 쏘카존 관리 시스템 - 차량재배치 리팩터링
쏘카의 차량재배치 레거시를 Kinesis에서 Kafka로 옮기며 책임을 분리한 리팩터링 사례를 다뤘습니다. 상태별 처리와 테스트코드를 정리해 유지보수성과 변경 안전성을 높였습니다.
#Kotlin#Spring Boot
4800
Headless CMS를 위한 변경 데이터 캡쳐(CDC) 기술 설계하기
헤드리스 CMS에서 다국어와 연관 관계를 고려한 CDC 설계 경험을 공유했습니다. 순서 보장과 트랜잭션 분리를 통해 대량 변경을 안정적으로 처리했습니다.
#CDC#Headless CMS
3600
대규모 CDC Pipeline 운영을 위한 Debezium 개선 여정
Debezium 기반 CDC 파이프라인의 운영 지표와 개선 방법을 정리한 글입니다. end-to-end 지연, 처리량, 확장성 개선으로 생성과 복구 시간을 줄인 사례를 소개했습니다.
#Debezium#Kafka
5200
ksqlDB를 활용한 증권사의 실시간 데이터 처리하기
토스증권이 실시간 데이터 처리 플랫폼으로 ksqlDB를 선택한 이유와 운영 경험을 소개했습니다. 동시 접속 집계, 이상 탐지, CDC 조인, ML feature 생성 사례와 함께 장단점도 정리했습니다.
#Kafka#ksqlDB
2800
우리는 어떻게 해외주식 서비스 안정화를 이뤘는가
해외주식 서비스의 브로커 지연과 데이터 병목 문제를 트래픽 제어, 자동 failover, MongoDB 도입으로 개선했습니다. 정규장 피크와 서비스 성장에 맞춰 기존 도구를 활용한 운영 안정화 사례를 소개했습니다.
#Kafka#MongoDB
3200
Redis Stream 적용기
Redis Stream으로 session_id 히스토리 적재를 분리해 트래픽 급증 시 지연 문제를 해소했습니다. Pub/Sub의 한계를 피하면서도 병렬 처리와 pending 재처리로 운영 안정성을 확보했습니다.
#Redis#Kafka
2800
Redis Stream 적용기
Redis Stream으로 session_id 적재 로직을 분리해 트래픽 급증 시 발생하던 처리 지연을 해소했습니다. Consumer group, ACK, pending 재처리를 함께 적용해 안정성을 높였습니다.
#Redis#Kafka
4800