Velopers

오늘 새 글

0개

오늘 조회수

150회

최근 7일 인기 글프롬프팅에서 워크플로로, AI로 프런트엔드 개발 생산성 끌어올리기라인 · 54회최근 30일 활발한 블로그AWS25개 발행 · 총 388개 · 18,601회
필터 1
Apache Iceberg 테이블 운영 실전기: 스냅샷 관리부터 Compaction까지
밸런스히어로
· 2026년 6월 15일
백엔드

Apache Iceberg 테이블 운영 실전기: 스냅샷 관리부터 Compaction까지

Iceberg 운영에서 스냅샷 폭증과 Small File 문제를 어떻게 다뤘는지 정리했습니다. 작업 이력 관리와 메인터넌스 정책으로 비용과 성능을 개선한 사례입니다.

#Apache Iceberg#Airflow
0005분
Hive에서 Iceberg로: 데이터 반영 속도 12배 향상의 비밀
라인
· 2026년 4월 3일
백엔드

Hive에서 Iceberg로: 데이터 반영 속도 12배 향상의 비밀

Hive 기반 전체 재작성 ETL의 한계를 Iceberg와 Flink로 개선한 사례를 소개했습니다. 체크포인트, 2PC, 파티셔닝 최적화로 데이터 반영 속도를 12배 높였습니다.

#Apache Iceberg#Apache Flink
64005분
CDC가 데이터 플랫폼을 바꾸는 방식: CDC-based Incremental Replication
밸런스히어로
· 2026년 3월 3일
백엔드

CDC가 데이터 플랫폼을 바꾸는 방식: CDC-based Incremental Replication

전수 적재의 지연과 정합성 문제를 해결하기 위해 CDC 기반 증분 복제 파이프라인을 설계했습니다. 전체 로우 해시와 사후 검증으로 멱등성과 신뢰도를 높이고, 시간 단위 배치로 최신성을 개선했습니다.

#CDC#Apache Iceberg
0005분
80TB 데이터 비용 10배 절감기: DynamoDB에서 Apache Iceberg로의 여정 - Part 2
밸런스히어로
· 2026년 1월 22일
백엔드

80TB 데이터 비용 10배 절감기: DynamoDB에서 Apache Iceberg로의 여정 - Part 2

DynamoDB+S3 이중 저장을 Iceberg 단일 테이블로 통합해 비용을 약 91.5% 절감했습니다. 조회 성능과 서빙 안정성도 함께 개선하고, 컴팩션과 조회의 균형 중요성을 정리했습니다.

#DynamoDB#Apache Iceberg
0005분
80TB 데이터 비용 10배 절감기: DynamoDB에서 Apache Iceberg로의 여정 - Part 1
밸런스히어로
· 2026년 1월 22일
아키텍처

80TB 데이터 비용 10배 절감기: DynamoDB에서 Apache Iceberg로의 여정 - Part 1

80TB 이중 저장 구조를 S3 기반 Iceberg 단일 테이블로 통합해 비용을 1/10로 낮추는 과정을 정리했습니다. Rowgroup, 버켓, 컴팩션, 파티션 조합으로 조회 파일 수를 크게 줄였습니다.

#DynamoDB#Apache Iceberg
0005분
하나의 데이터, 멀티 엔진: Apache Iceberg로 구축하는 데이터레이크
여기어때
· 2025년 12월 16일
아키텍처

하나의 데이터, 멀티 엔진: Apache Iceberg로 구축하는 데이터레이크

Redshift 단일 클러스터의 적재 지연과 리소스 경합 문제를 해결하기 위해 Iceberg 기반 데이터레이크를 구축했습니다.\nGCS, BigLake Metastore, Spark, BigQuery를 분리해 멀티 엔진 운영과 벤더 종속 완화를 노렸습니다.

#Apache Iceberg#BigQuery
60005분
Apache Iceberg Table Management작업에서 발생하기 쉬운Amazon S3 이슈 분석과 해결 방안
AWS
· 2025년 7월 7일
백엔드

Apache Iceberg Table Management작업에서 발생하기 쉬운Amazon S3 이슈 분석과 해결 방안

Apache Iceberg 테이블 관리 작업 중 발생하는 S3 4xx와 503 SlowDown 이슈를 CloudWatch, Server Access Logging, Athena로 분석했습니다. 요청 분산을 위해 해시 또는 날짜 기반 prefix 설계를 적용하는 방안을 정리했습니다.

#Apache Iceberg#Amazon S3
37005분
SAP OData connection과 AWS Glue로 S3 Tables에서 SAP Data 활용하기
AWS
· 2025년 6월 27일
백엔드

SAP OData connection과 AWS Glue로 S3 Tables에서 SAP Data 활용하기

AWS Glue로 SAP OData 데이터를 S3 Tables의 Iceberg 테이블에 적재하고 SageMaker Unified Studio와 연계하는 방법을 소개했습니다. 대용량 SAP 데이터를 빠르게 분석하고 통합 활용하는 흐름을 정리했습니다.

#AWS Glue#Amazon S3
38005분
알리는사람들의 Amazon Data Firehose로 Amazon DynamoDB를 Amazon S3 tables로 실시간 복제하기
AWS
· 2025년 6월 17일
백엔드

알리는사람들의 Amazon Data Firehose로 Amazon DynamoDB를 Amazon S3 tables로 실시간 복제하기

DynamoDB 변경 이벤트를 Firehose와 Iceberg S3 Tables로 실시간 복제하는 파이프라인 구성을 소개했습니다. Athena와 QuickSight로 분석 가능한 구조와 권한 설정, 변환 시 주의점까지 정리했습니다.

#Amazon Data Firehose#DynamoDB
44005분
Amazon S3 Tables이 압축을 사용하여 쿼리 성능을 최대 3배까지 개선하는 방법
AWS
· 2025년 5월 19일
백엔드

Amazon S3 Tables이 압축을 사용하여 쿼리 성능을 최대 3배까지 개선하는 방법

Amazon S3 Tables의 자동 컴팩션이 작은 파일로 인한 읽기 오버헤드를 줄여 쿼리 성능을 높이는 방법을 소개했습니다. 테스트에서는 스토리지 집약적 워크로드에서 최대 3배 수준의 개선을 보였습니다.

#Amazon S3 Tables#Apache Parquet
64005분
StarRocks의 도입 배경과 성능 최적화
네이버 D2
· 2025년 4월 16일
백엔드

StarRocks의 도입 배경과 성능 최적화

StarRocks의 도입 배경과 내부 구조, 성능 최적화 방법을 정리했습니다.\nELT 전환과 Iceberg 연동, 파티셔닝·버킷팅·정렬 키 설계의 중요성을 설명했습니다.

#StarRocks#ELT
86005분
NELO Alaska: 대용량 로그 데이터 저장을 위한 Apache Iceberg 도입기
네이버 D2
· 2025년 3월 11일
백엔드

NELO Alaska: 대용량 로그 데이터 저장을 위한 Apache Iceberg 도입기

Elasticsearch 기반 로그 저장 구조의 비용과 확장성 한계를 해결하기 위해 Iceberg 기반 Alaska를 도입했습니다. Kafka 로그를 오브젝트 스토리지에 직접 적재하고, 실시간 조회와 장기 보관을 분리해 운영 효율을 높였습니다.

#Apache Iceberg#Elasticsearch
105005분