![[if kakao 2022] Batch Performance를 고려한 최선의 Aggregation](https://tech.kakaopay.com/_astro/thumb.84295604_1klCAm.png)
[if kakao 2022] Batch Performance를 고려한 최선의 Aggregation
대량 데이터를 집계하는 배치에서 성능을 고려한 aggregation 설계 노하우를 다룬 글입니다. 배치 처리 효율을 높이기 위한 접근을 공유합니다.
#Spring Batch#batch
2400
국내 IT 기업 기술 블로그 최신 글
새로운 기술 블로그가 추가되었어요
필터 1
![[if kakao 2022] Batch Performance를 고려한 최선의 Reader](https://tech.kakaopay.com/_astro/thumb.f4bb869d_1nQPYR.png)
[if kakao 2022] Batch Performance를 고려한 최선의 Reader
대량 데이터를 배치로 읽을 때의 성능 고려와 Reader 선택 노하우를 공유합니다.\n배치 처리 특성에 맞는 읽기 방식과 성능 관점을 정리했습니다.
#Spring Batch#batch
3400
컬리 검색이 카프카를 들여다본 이야기 1
카프카 컨슈머 적체와 반복 리밸런싱으로 지연된 검색 색인 문제를 분석했습니다.\nmax.poll과 Spring Kafka 배치 리스너 조정으로 스루풋을 높이고 리밸런싱을 방지했습니다.
#Kafka#Spring Kafka
000
컬리 검색이 카프카를 들여다본 이야기 1
검색 인덱싱 파이프라인의 메시지 적체와 반복 리밸런싱 원인을 Kafka 소비 설정에서 점검했습니다. Batch Listener와 배치 색인으로 처리 스루풋을 높이고 리밸런싱을 방지했습니다.
#Kafka#Redis
3000
Google BigQuery와 Data Studio를 활용한 앱 광고 매출 대시보드 개발기
광고 플랫폼 확장 부담이 큰 기존 분석 시스템을 BigQuery와 Data Studio로 이전했습니다. 파티션·DML 배치 적재·뷰 기반 대시보드로 비용과 운영 부담을 관리했습니다.
#BigQuery#Data Studio
2400
컬리에서 데이터 분석가로 일한다는 것
요구사항 구체화부터 분석계 구축, QA, 배치 시점 관리까지 데이터 분석 과정을 소개했습니다.\n재고 시뮬레이션으로 운영 비율을 검증해 발주와 재고 운영에 활용했습니다.
#SQL#데이터 분석
000
쿠팡 파트너스
개발자를 위한 서적을 확인해 보세요
이 게시물은 쿠팡 파트너스 활동의 일환으로, 이에 따른 일정액의 수수료를 제공받습니다.
#개발서적#프로그래밍
컬리에서 데이터 분석가로 일한다는 것
데이터 요청을 구체화하고 운영계와 분리된 분석용 테이블을 구축하는 과정을 소개했습니다.\n데이터 QA와 적재 시점 검증, 시뮬레이션으로 데이터 활용 가치를 높였습니다.
#데이터 분석#SQL
7400
ES플러그인 커스터마이징 (3)ㅎㅇㅇㅎ검색 대응하기
ES플러그인 커스터마이징 (3)ㅎㅇㅇㅎ검색 대응하기
자동완성의 한글 자모 분석 로직이 API와 색인 배치에 중복된 문제를 다뤘습니다. 자모 분해 Filter를 ES 플러그인으로 옮겨 변경 지점을 집중하려 합니다.
#Elasticsearch#검색
2900