Amazon SageMaker Unified Studio의 다계정 Redshift 공유 패턴을 검증한 글입니다. Publisher를 소스 계정에 두는 구성이 거버넌스와 컴퓨트 격리를 함께 만족했습니다.
EKS 애플리케이션 로그를 Athena와 Amazon Bedrock으로 자동 분석하는 파이프라인을 구축했습니다. 수작업 로그 분석을 줄이고 장애 원인과 패턴을 빠르게 파악하도록 구성했습니다.
Claude Code의 세션·비용·사용량을 보기 위해 AWS 관리형 서비스로 Observability 플랫폼을 구축하는 방법을 소개했습니다. 메트릭과 이벤트를 분리해 실시간 모니터링과 심층 분석을 함께 제공했습니다.
Amazon Bedrock의 엔드포인트, 쿼터, 모니터링, 최적화 방법을 정리했습니다. CRIS와 캐시, 라우팅, 메모리 기능으로 비용과 안정성을 개선할 수 있습니다.
운영 DB 중심 분석의 한계를 넘기 위해 S3, Athena, Airflow, dbt 기반 데이터 환경을 구축했습니다.\nAI skill로 소스 연결, 모델링, 문서화를 자동화하며 실무 생산성을 높였습니다.
DynamoDB+S3 이중 저장을 Iceberg 단일 테이블로 통합해 비용을 약 91.5% 절감했습니다. 조회 성능과 서빙 안정성도 함께 개선하고, 컴팩션과 조회의 균형 중요성을 정리했습니다.
데이터는 많지만 도구와 흐름이 흩어져 있어 활용이 어려운 문제를 다뤘습니다. 이를 해결하기 위해 JupyterHub와 dbt 조합을 통합 데이터 허브의 기반으로 선택했습니다.
Amazon QuickSight로 AWS 비용을 시각화하고 팀·서비스 단위 분석이 가능한 빌링 대시보드를 구축했습니다. 이를 통해 비용 증가 요인을 찾고 태그·로그·스토리지 최적화 방향을 도출했습니다.
Apache Iceberg 테이블 관리 작업 중 발생하는 S3 4xx와 503 SlowDown 이슈를 CloudWatch, Server Access Logging, Athena로 분석했습니다. 요청 분산을 위해 해시 또는 날짜 기반 prefix 설계를 적용하는 방안을 정리했습니다.
AWS Glue로 SAP OData 데이터를 S3 Tables의 Iceberg 테이블에 적재하고 SageMaker Unified Studio와 연계하는 방법을 소개했습니다. 대용량 SAP 데이터를 빠르게 분석하고 통합 활용하는 흐름을 정리했습니다.
DynamoDB 변경 이벤트를 Firehose와 Iceberg S3 Tables로 실시간 복제하는 파이프라인 구성을 소개했습니다. Athena와 QuickSight로 분석 가능한 구조와 권한 설정, 변환 시 주의점까지 정리했습니다.
S3 데이터를 Athena로 분석하고 QuickSight로 시각화하는 간단한 과정을 정리했습니다. 스키마 변경과 데이터 추가 반영 사례까지 함께 다뤘습니다.
