Apache Flink + RocksDB 튜닝으로 광고 Frequency Capping 실시간 집계를 일주일까지 확장하기
Apache Flink와 RocksDB 튜닝으로 광고 Frequency Capping 실시간 집계를 7일 구간까지 확장한 사례를 다루었습니다. 세 개의 Flink 앱으로 분리해 병목을 각각 해결하고 Redis 단일 조회 구조로 단순화했습니다.
#Apache Flink#RocksDB
94005분
필터 1
Hive에서 Iceberg로: 데이터 반영 속도 12배 향상의 비밀
Hive 기반 전체 재작성 ETL의 한계를 Iceberg와 Flink로 개선한 사례를 소개했습니다. 체크포인트, 2PC, 파티셔닝 최적화로 데이터 반영 속도를 12배 높였습니다.
#Apache Iceberg#Apache Flink
64005분
CDC 파이프라인을 Debezium과 Flink로 재설계한 이유
CDC 파이프라인을 Debezium과 Flink로 재설계한 이유
NiFi 기반 CDC 파이프라인의 확장성과 안정성 한계를 해결하기 위해 Debezium과 Flink로 재설계했습니다. Kafka, 체크포인트, 메트릭 모니터링을 결합해 정합성과 처리량을 높였습니다.
#Debezium#Apache Flink
0005분
6개월 만에 연간 수십조를 처리하는 DB CDC 복제 도구 무중단/무장애 교체하기
6개월 만에 연간 수십조를 처리하는 DB CDC 복제 도구 무중단/무장애 교체하기
네이버페이 주문의 DB CDC 복제 도구를 ergate로 전환한 경험을 공유했습니다. Flink와 Spring으로 복제, 검증, 복구를 분리해 성능과 운영 편의성을 개선했습니다.
#DB#CDC
102005분
실시간 유효 광고 선정을 위한 Flink에서 Apache Paimon 도입기
실시간 유효 광고 선정을 위한 Flink에서 Apache Paimon 도입기
Flink와 Apache Paimon으로 실시간 유효 광고 선정 파이프라인을 구축한 사례를 소개했습니다. 실시간 처리 보장, 조인, 타임 트래블, 자동 compaction 같은 Paimon 활용 포인트를 정리했습니다.
#Apache Flink#Apache Paimon
120005분
Nexthink가 Amazon Managed Service for Apache Flink를 사용하여 실시간 알림을 구축한 방법
Nexthink는 15분 폴링 기반 알림의 한계를 해결하기 위해 Amazon Managed Service for Apache Flink를 도입했습니다. 이벤트 시간 처리와 상태 관리로 VDI 실시간 알림을 확장 가능하게 구축했습니다.
#Apache Flink#Kafka
60005분
Paimon 겟또다제 ! (w/ ADVoost Shopping)
Paimon 겟또다제 ! (w/ ADVoost Shopping)
ADVoost Shopping의 실시간 유효 광고 선정을 위한 Flink와 Paimon 아키텍처를 소개합니다. Paimon의 기능과 Iceberg 비교, 운영 팁까지 정리했습니다.
#Apache Flink#Paimon
81005분
AI 실시간 추천 시스템을 위한 Flink 기반 스트림 조인 서비스 구축기
Azar의 실시간 추천 시스템을 위해 Flink KeyedProcessFunction 기반 스트림 조인과 배포 전략을 구축한 사례를 소개했습니다. Savepoint, Blue-Green 배포, Redis 중복 제거로 무중단과 Exactly Once를 구현했습니다.
#Apache Flink#Kafka
93005분
Nifi에서 Apache Flink로, 실시간 SMS 파이프라인 개선기
Nifi에서 Apache Flink로, 실시간 SMS 파이프라인 개선기
Nifi 기반 SMS 파이프라인의 구조적 한계를 해결하기 위해 Apache Flink로 전환했습니다. 실시간 처리, 상태 관리, 운영 안정성과 확장성을 함께 개선했습니다.
#Apache Flink#Nifi
0005분
로그 유형별 Iceberg 테이블 적재 및 운영 전략
X
#Iceberg#CDC
65005분
포스코홀딩스의 Managed Apache Flink를 활용한 효율적인 다수 CCTV 이벤트 처리 사례
포스코홀딩스는 다수 CCTV의 AI 추론 결과를 Kinesis와 Managed Apache Flink로 실시간 분석했습니다. CloudWatch 필터링, CEP 최적화, State Backend 조정으로 이벤트 감지와 운영 효율을 높였습니다.
#Apache Flink#Kinesis
58005분
Journey with Apache Flink & Flink CDC
X
#Apache Flink#CDC
50005분