Apache Flink + RocksDB 튜닝으로 광고 Frequency Capping 실시간 집계를 일주일까지 확장하기
Apache Flink와 RocksDB 튜닝으로 광고 Frequency Capping 실시간 집계를 7일 구간까지 확장한 사례를 다루었습니다. 세 개의 Flink 앱으로 분리해 병목을 각각 해결하고 Redis 단일 조회 구조로 단순화했습니다.
#Apache Flink#RocksDB#Kafka
9500
태그
Apache Flink 기술 블로그 글
Apache Flink 태그가 달린 국내 IT 기업 기술 블로그 글을 최신순으로 모았습니다.
전체 14개최신 14개 표시
관련 태그
최신 게시글
14개 표시
Hive에서 Iceberg로: 데이터 반영 속도 12배 향상의 비밀
Hive 기반 전체 재작성 ETL의 한계를 Iceberg와 Flink로 개선한 사례를 소개했습니다. 체크포인트, 2PC, 파티셔닝 최적화로 데이터 반영 속도를 12배 높였습니다.
#Apache Iceberg#Apache Flink#Kafka
6400
CDC 파이프라인을 Debezium과 Flink로 재설계한 이유
NiFi 기반 CDC 파이프라인의 확장성과 안정성 한계를 해결하기 위해 Debezium과 Flink로 재설계했습니다. Kafka, 체크포인트, 메트릭 모니터링을 결합해 정합성과 처리량을 높였습니다.
#Debezium#Apache Flink#Apache Kafka
000
CDC 파이프라인을 Debezium과 Flink로 재설계한 이유
6개월 만에 연간 수십조를 처리하는 DB CDC 복제 도구 무중단/무장애 교체하기
네이버페이 주문의 DB CDC 복제 도구를 ergate로 전환한 경험을 공유했습니다. Flink와 Spring으로 복제, 검증, 복구를 분리해 성능과 운영 편의성을 개선했습니다.
#DB#CDC#Kafka
10200
6개월 만에 연간 수십조를 처리하는 DB CDC 복제 도구 무중단/무장애 교체하기
실시간 유효 광고 선정을 위한 Flink에서 Apache Paimon 도입기
Flink와 Apache Paimon으로 실시간 유효 광고 선정 파이프라인을 구축한 사례를 소개했습니다. 실시간 처리 보장, 조인, 타임 트래블, 자동 compaction 같은 Paimon 활용 포인트를 정리했습니다.
#Apache Flink#Apache Paimon#Spark
12000
실시간 유효 광고 선정을 위한 Flink에서 Apache Paimon 도입기
Nexthink가 Amazon Managed Service for Apache Flink를 사용하여 실시간 알림을 구축한 방법
Nexthink는 15분 폴링 기반 알림의 한계를 해결하기 위해 Amazon Managed Service for Apache Flink를 도입했습니다. 이벤트 시간 처리와 상태 관리로 VDI 실시간 알림을 확장 가능하게 구축했습니다.
#Apache Flink#Kafka#AWS
6000
Paimon 겟또다제 ! (w/ ADVoost Shopping)
ADVoost Shopping의 실시간 유효 광고 선정을 위한 Flink와 Paimon 아키텍처를 소개합니다. Paimon의 기능과 Iceberg 비교, 운영 팁까지 정리했습니다.
#Apache Flink#Paimon#Iceberg
8100
Paimon 겟또다제 ! (w/ ADVoost Shopping)
AI 실시간 추천 시스템을 위한 Flink 기반 스트림 조인 서비스 구축기
Azar의 실시간 추천 시스템을 위해 Flink KeyedProcessFunction 기반 스트림 조인과 배포 전략을 구축한 사례를 소개했습니다. Savepoint, Blue-Green 배포, Redis 중복 제거로 무중단과 Exactly Once를 구현했습니다.
#Apache Flink#Kafka#Redis
9300
Nifi에서 Apache Flink로, 실시간 SMS 파이프라인 개선기
Nifi 기반 SMS 파이프라인의 구조적 한계를 해결하기 위해 Apache Flink로 전환했습니다. 실시간 처리, 상태 관리, 운영 안정성과 확장성을 함께 개선했습니다.
#Apache Flink#Nifi#streaming
000
Nifi에서 Apache Flink로, 실시간 SMS 파이프라인 개선기
로그 유형별 Iceberg 테이블 적재 및 운영 전략
X
#Iceberg#CDC#Apache Flink
6500
포스코홀딩스의 Managed Apache Flink를 활용한 효율적인 다수 CCTV 이벤트 처리 사례
포스코홀딩스는 다수 CCTV의 AI 추론 결과를 Kinesis와 Managed Apache Flink로 실시간 분석했습니다. CloudWatch 필터링, CEP 최적화, State Backend 조정으로 이벤트 감지와 운영 효율을 높였습니다.
#Apache Flink#Kinesis#CCTV
5900
Journey with Apache Flink & Flink CDC
X
#Apache Flink#CDC
5000
아파치 플링크와 CDC의 만남. 플링크 CDC 맛보기
아파치 플링크와 CDC를 함께 살펴보는 맛보기 글입니다. 데이터 취합과 일단위 지표 추출 맥락에서 주제를 소개합니다.
#Apache Flink#CDC
1600
쿠버네티스 네이티브 워크플로를 이용한 대용량 스트리밍 파이프라인 검증 자동화 - 3편
쿠버네티스 네이티브 워크플로와 LitmusChaos로 Flink 스트리밍 파이프라인의 카오스 테스트를 자동화한 사례를 소개했습니다. 네트워크 지연, 파드 삭제, 노드 실패를 검증하며 복구 전략과 운영 개선점을 정리했습니다.
#Kubernetes#streaming#LitmusChaos
1700
