장시간 비동기 작업, Kafka 대신 RDB 기반 Task Queue로 해결하기
장시간 엑셀 생성 작업에서 Kafka Consumer 타임아웃으로 중복 발송이 발생했습니다. RDB 기반 Task Queue와 Heartbeat로 재시도와 장애 복구를 안정화했습니다.
#Kafka#RDB#Redis
3200
장시간 비동기 작업, Kafka 대신 RDB 기반 Task Queue로 해결하기
태그
RDB 기술 블로그 글
RDB 태그가 달린 국내 IT 기업 기술 블로그 글을 최신순으로 모았습니다.
전체 10개최신 10개 표시
관련 태그
최신 게시글
10개 표시
Distributed Cache 도입기 (3): RDB 조회 90% 감소시키기
BillSetting 조회 부하를 줄이기 위해 로컬 캐시와 Redis 글로벌 캐시를 시도했지만 각각 한계와 병목을 겪었습니다. 이후 Redis Pub/Sub 기반 분산 캐시로 전환해 RDB 조회를 93% 줄였습니다.
#Redis#cache#RDB
000
Distributed Cache 도입기 (3): RDB 조회 90% 감소시키기
Distributed Cache 도입기 (3): RDB 조회 90% 감소시키기
BillSetting 조회 부하를 줄이기 위해 로컬 캐시와 Redis 글로벌 캐시를 검토했지만 각각 한계가 있었습니다. 결국 Redis Pub/Sub 기반 분산 캐시로 전환해 RDB 조회를 93% 줄였습니다.
#Redis#cache#RDB
500
AWS Summit Seoul 발표를 꿈꾸는 당신에게(feat. 발표자 후기)
AWS Summit Seoul Community Session 발표 후기와 준비 과정을 공유한 글입니다. EKS 하이브리드 활용 사례와 CDC 기반 실시간 통합 아키텍처 경험, 발표 준비에서 얻은 교훈을 정리했습니다.
#AWS#EKS#Kafka
7800
Spark 9편: JDBC 병렬처리 시 주의 사항
Spark JDBC 병렬처리의 기본 사용법과 파티션 분할 방식의 주의점을 설명했습니다. 소수점 버림으로 인한 skew를 줄이기 위해 upperBound 설정과 컬럼 분포 점검이 필요했습니다.
#Spark#JDBC#RDB
6700
에러? 1초 만에 잡아드립니다 - AOP와 Redis로 구축한 실시간 알림 시스템
AOP와 Redis로 실시간 에러 알림 시스템을 구축한 사례를 다루었습니다. 기존 배치 기반 알림의 한계를 줄이고 장애 대응성과 중복 알림 제어를 개선했습니다.
#AOP#Redis#RDB
3800
임베딩 모델로 데이터 의미 압축하기
텍스트를 숫자와 벡터로 표현하는 여러 방법과 문장 임베딩 기반 의미 검색을 정리했습니다. 또한 BERT, FAISS, 하이브리드 검색의 구조와 활용 방향을 소개했습니다.
#LLM#임베딩#검색
3200
PostgreSQL을 Kubernetes에서 운영하기
쿠버네티스 클러스터에서 경량 PostgreSQL을 운영하는 사례를 소개합니다. 기존 VM 기반 RDB 운영과 다른 배포·운영 맥락을 다룹니다.
#PostgreSQL#Kubernetes#RDB
3600
FMS(Fleet Management System) 주행이벤트 파이프라인 개선기
주행 이벤트 파이프라인에서 데이터 순서 보장과 대량 IoT 트래픽 처리를 위해 구조를 두 차례 개선했습니다. Kafka, NoSQL, 멱등성 설계로 비동기 실시간 처리와 정합성을 높였습니다.
#Kafka#NoSQL#MSA
3700
CTO가 커리어를 걸고 비트 레벨까지 내려가서 DB를 해킹했던 이야기
CockroachDB 장애로 서비스가 멈춘 상황에서 원시 sst 파일을 직접 파고들어 복구 가능성을 탐색했습니다. 내부 저장 형식과 인코딩을 분석해 데이터를 꺼내는 방향을 모색했습니다.
#CockroachDB#DB#AWS
4300
