장시간 비동기 작업, Kafka 대신 RDB 기반 Task Queue로 해결하기
장시간 비동기 작업, Kafka 대신 RDB 기반 Task Queue로 해결하기
장시간 엑셀 생성 작업에서 Kafka Consumer 타임아웃으로 중복 발송이 발생했습니다. RDB 기반 Task Queue와 Heartbeat로 재시도와 장애 복구를 안정화했습니다.
#Kafka#RDB
31005분
필터 1
Distributed Cache 도입기 (3): RDB 조회 90% 감소시키기
Distributed Cache 도입기 (3): RDB 조회 90% 감소시키기
BillSetting 조회 부하를 줄이기 위해 로컬 캐시와 Redis 글로벌 캐시를 시도했지만 각각 한계와 병목을 겪었습니다. 이후 Redis Pub/Sub 기반 분산 캐시로 전환해 RDB 조회를 93% 줄였습니다.
#Redis#cache
0005분
Distributed Cache 도입기 (3): RDB 조회 90% 감소시키기
BillSetting 조회 부하를 줄이기 위해 로컬 캐시와 Redis 글로벌 캐시를 검토했지만 각각 한계가 있었습니다. 결국 Redis Pub/Sub 기반 분산 캐시로 전환해 RDB 조회를 93% 줄였습니다.
#Redis#cache
4005분
AWS Summit Seoul 발표를 꿈꾸는 당신에게(feat. 발표자 후기)
AWS Summit Seoul Community Session 발표 후기와 준비 과정을 공유한 글입니다. EKS 하이브리드 활용 사례와 CDC 기반 실시간 통합 아키텍처 경험, 발표 준비에서 얻은 교훈을 정리했습니다.
#AWS#EKS
78005분
Spark 9편: JDBC 병렬처리 시 주의 사항
Spark JDBC 병렬처리의 기본 사용법과 파티션 분할 방식의 주의점을 설명했습니다. 소수점 버림으로 인한 skew를 줄이기 위해 upperBound 설정과 컬럼 분포 점검이 필요했습니다.
#Spark#JDBC
67005분
에러? 1초 만에 잡아드립니다 - AOP와 Redis로 구축한 실시간 알림 시스템
AOP와 Redis로 실시간 에러 알림 시스템을 구축한 사례를 다루었습니다. 기존 배치 기반 알림의 한계를 줄이고 장애 대응성과 중복 알림 제어를 개선했습니다.
#AOP#Redis
38005분
임베딩 모델로 데이터 의미 압축하기
텍스트를 숫자와 벡터로 표현하는 여러 방법과 문장 임베딩 기반 의미 검색을 정리했습니다. 또한 BERT, FAISS, 하이브리드 검색의 구조와 활용 방향을 소개했습니다.
#LLM#임베딩
32005분