실시간 유효 광고 선정을 위한 Flink에서 Apache Paimon 도입기
실시간 유효 광고 선정을 위한 Flink에서 Apache Paimon 도입기
Flink와 Apache Paimon으로 실시간 유효 광고 선정 파이프라인을 구축한 사례를 소개했습니다. 실시간 처리 보장, 조인, 타임 트래블, 자동 compaction 같은 Paimon 활용 포인트를 정리했습니다.
#Apache Flink#Apache Paimon
120005분
새로운 기술 블로그가 추가되었어요
필터 1
스케일 넘치는 대용량 감사 로그, 스마트하게 관리하기 (OVEN)
대용량 감사 로그를 HotStore와 ColdStore로 분리해 효율적으로 저장하고 조회하는 구조를 소개했습니다. S3, Athena, Bloom Filter를 활용해 비용과 연동 복잡도를 줄이는 방안을 설명했습니다.
#S3#Athena
25005분
Spark Streaming을 활용한 파생 데이터 생성 시간 감축 사례
Spark Streaming을 활용한 파생 데이터 생성 시간 감축 사례
Hive 배치 기반 파생 데이터 생성 지연 문제를 Spark Streaming으로 실시간 처리하도록 전환한 사례를 소개했습니다. Kafka 오프셋과 처리량, LAG 모니터링으로 안정적인 운영 방법도 함께 설명했습니다.
#Spark Streaming#Kafka
38005분
효율적인 하둡 플랫폼 운영을 위한 “Hive 사용량 통계 레포트” 개발기
Hive 사용량 통계를 수집해 하둡 플랫폼 운영 효율을 높인 개발 사례를 소개했습니다. 크롤링 한계를 로그 분석과 실시간 처리 구조로 개선하고 Iceberg 적재 방식도 조정했습니다.
#Hive#Hadoop
18005분