국내 IT 기업 기술 블로그 최신 글

필터 1
점점 커지는 RDB Table, S3로 귀양 보내고 Athena로 불러오기 - feat. Optimization with Spark Bucketing
뱅크샐러드
백엔드

점점 커지는 RDB Table, S3로 귀양 보내고 Athena로 불러오기 - feat. Optimization with Spark Bucketing

MySQL 이력 데이터를 S3·Athena 구조로 옮기며 발생한 객체 호출 비용 문제를 분석했습니다. user id 버케팅과 일별 파티션으로 Athena 비용을 약 700배 줄였습니다.

#Spark#S3
000
Dataflow로 컬리의 준실시간 수요 예측모델 파이프라인 구축하기 - 1편
마켓컬리
AI

Dataflow로 컬리의 준실시간 수요 예측모델 파이프라인 구축하기 - 1편

준실시간 수요예측을 위해 Apache Beam 기반 GCP Dataflow 파이프라인을 도입한 배경과 동작 구조를 설명했습니다. Flex 템플릿·CI/CD 배포 과정과 스트리밍, 권한, 비용 관련 운영 팁을 정리했습니다.

#Dataflow#Apache Beam
200
Dataflow로 컬리의 준실시간 수요 예측모델 파이프라인 구축하기 - 1편
마켓컬리
데브옵스

Dataflow로 컬리의 준실시간 수요 예측모델 파이프라인 구축하기 - 1편

컬리의 준실시간 수요 예측 모델을 위해 Dataflow 파이프라인을 도입한 배경과 전체 동작 방식을 설명했습니다. Beam, Flex 템플릿, CI/CD, 권한 설정 등 실무 적용 포인트도 함께 정리했습니다.

#Dataflow#Apache Beam
1600
ksqlDB Deep Dive
하이퍼커넥트
백엔드

ksqlDB Deep Dive

ksqlDB를 Kafka Streams 기반의 SQL 엔진으로 소개하며 동작 원리와 아키텍처를 설명했습니다. 또한 Push Query와 Pull Query, stateful 처리와 리밸런싱 개념을 함께 정리했습니다.

#Kafka#SQL
4200
누가 내 DB CPU를 훔쳐갔을까? (feat. debezium)
라포랩스
백엔드

누가 내 DB CPU를 훔쳐갔을까? (feat. debezium)

Debezium connector 재시작 때 오래된 binlog를 다시 읽으며 DB CPU가 급등한 원인을 분석했습니다. heartbeat.interval.ms를 적용해 상태 기록 주기를 보강하고 문제를 해결했습니다.

#debezium#CDC
2300
TestContainers로 유저시나리오와 비슷한 통합테스트 만들어 보기
마켓컬리
백엔드

TestContainers로 유저시나리오와 비슷한 통합테스트 만들어 보기

Testcontainers로 Kafka·PostgreSQL·Spring 애플리케이션을 함께 구동해 사용자 시나리오 통합 테스트를 구성했습니다. GitHub Actions 트리거로 배포 이미지 생성 뒤 테스트를 실행해 QA 부담을 줄이는 방식을 소개합니다.

#Testcontainers#Docker
400
TestContainers로 유저시나리오와 비슷한 통합테스트 만들어 보기
마켓컬리
백엔드

TestContainers로 유저시나리오와 비슷한 통합테스트 만들어 보기

Testcontainers로 Kafka, PostgreSQL, Spring 앱을 함께 띄워 실제 사용자 흐름에 가까운 통합테스트를 구성했습니다. 서버 간 제약 불일치로 생길 수 있는 버그를 QA 전에 조기에 찾고, 배포 후 자동 검증까지 연결했습니다.

#TestContainers#통합테스트
3000
쿠팡 파트너스

광고

개발자를 위한 서적을 확인해 보세요

이 게시물은 쿠팡 파트너스 활동의 일환으로, 이에 따른 일정액의 수수료를 제공받습니다.

#개발서적#프로그래밍
라이브채팅 플랫폼 구현기 2탄 : 아키텍처 및 성능 테스트
카카오엔터테인먼트FE
아키텍처

라이브채팅 플랫폼 구현기 2탄 : 아키텍처 및 성능 테스트

비동기 메시지 처리와 Kafka 중심의 분산 라이브채팅 아키텍처를 설계했습니다. k6 기반 성능 테스트로 브로커와 로드밸런싱 이슈를 개선했습니다.

#WebSocket#Kafka
200
라이브채팅 플랫폼 구현기 1탄 : 개발 언어 및 기반기술 조사
카카오엔터테인먼트FE
아키텍처

라이브채팅 플랫폼 구현기 1탄 : 개발 언어 및 기반기술 조사

20만 동시 접속 실시간 채팅 요구를 위해 Kotlin·Spring Boot·WebSocket 기반을 선택했습니다. Kafka 스트림과 아호-코라식으로 확장성과 실시간 금칙어 처리를 설계했습니다.

#Kotlin#Spring Boot
100
청구/수납 서비스 개발기
spoqa
백엔드

청구/수납 서비스 개발기

키친보드는 식자재 시장의 현실에 맞게 청구/수납 서비스를 설계했습니다. 미납금, 청구 없이 수납되는 상황, 대량 알림 전송 제약을 고려해 관계를 느슨하게 풀어냈습니다.

#Spring Boot#Kafka
3300
컬리의 BigQuery 도입기 - 2부
마켓컬리
백엔드

컬리의 BigQuery 도입기 - 2부

BigQuery 기반 CDC 파이프라인으로 정형·비정형 데이터를 Final 테이블에 동기화했습니다. Merge와 리소스 분리로 적재 시간·조회 응답 시간·비용을 개선했습니다.

#BigQuery#Kafka
100
컬리의 BigQuery 도입기 - 2부
마켓컬리
백엔드

컬리의 BigQuery 도입기 - 2부

BigQuery 도입으로 정형·비정형 데이터 파이프라인을 분리해 구축하고, CDC 기반 적재와 Merge Procedure로 원본 정합성을 맞췄습니다. 또한 데이터 레이크하우스화, 쿼리 성능 개선, 비용 절감 효과를 얻었습니다.

#BigQuery#Kafka
3300
User segmentation 시스템 개발기
아이디어스
아키텍처

User segmentation 시스템 개발기

MSA 환경에서 유저 세그멘테이션을 위해 구체화된 뷰와 이벤트 드리븐 구조를 도입했습니다. 캐시와 동기화를 결합해 빠른 조회 성능과 장애 전파 차단을 확보했습니다.

#MSA#Kafka
3000
광고 예산 제어 시스템 개선기: Part 1 – 시스템과 가시성 개선
버즈빌
아키텍처

광고 예산 제어 시스템 개선기: Part 1 – 시스템과 가시성 개선

광고 예산의 계획 대비 소진 속도를 제어하는 시스템을 마이크로서비스로 단계적으로 분리했습니다. Kafka와 Prometheus 기반 집계·관측을 강화해 제어 주기와 가설 검증 속도를 개선했습니다.

#MSA#Kafka
200