Amazon Athena + Quicksight 사용한 데이터 시각화
Amazon Athena + Quicksight 사용한 데이터 시각화
S3 데이터를 Athena로 분석하고 QuickSight로 시각화하는 간단한 과정을 정리했습니다. 스키마 변경과 데이터 추가 반영 사례까지 함께 다뤘습니다.
#AWS#Athena
4700
국내 IT 기업 기술 블로그 최신 글
새로운 기술 블로그가 추가되었어요
필터 1
AWS Athena를 이용하여 ELB 액세스 로그 분석하는 방법
AWS Athena로 ELB 액세스 로그를 조회하기 위한 테이블 생성과 파티션 프로젝션 설정 방법을 소개했습니다. 특정 IP와 기간 조건으로 로그를 분석하는 쿼리 예시도 함께 정리했습니다.
#AWS#Athena
5400
SAP 데이터와 AWS Glue를 활용하여 RISE 워크로드 확장하기
AWS Glue SAP OData 커넥터로 SAP 데이터를 S3에 적재하고 델타 토큰 기반 증분 로드를 구성하는 방법을 소개했습니다. 자재 마스터와 자재 그룹 텍스트를 조인해 Athena에서 분석하는 흐름도 함께 설명했습니다.
#AWS Glue#SAP
5400
당근마켓 웹 플랫폼 외전 — 레거시 시스템 안전하게 제거하기
로컬 웹뷰의 잔존 트래픽과 하위 호환성 문제를 계측한 뒤, Cloudflare Workers로 호환 동작을 이전하며 안전하게 폐기했습니다. 분산된 정책과 AWS 리소스를 단일 스크립트로 통합해 유지보수성과 온보딩 부담도 줄였습니다.
#webview#AWS
6100
스케일 넘치는 대용량 감사 로그, 스마트하게 관리하기 (OVEN)
대용량 감사 로그를 효율적으로 저장·조회하기 위한 OVEN의 설계와 운영 방안을 소개했습니다. S3 연동, 경로 기반 파티셔닝, Bloom Filter로 비용과 조회 성능을 개선했습니다.
#보안#S3
1300
스케일 넘치는 대용량 감사 로그, 스마트하게 관리하기 (OVEN)
대용량 감사 로그를 S3 기반 HotStore/ColdStore 구조로 저장·조회하는 방법을 소개했습니다. Athena 연동과 Bloom Filter로 비용과 조회 성능을 함께 개선했습니다.
#보안#S3
1500
스케일 넘치는 대용량 감사 로그, 스마트하게 관리하기 (OVEN)
대용량 감사 로그를 HotStore와 ColdStore로 분리해 효율적으로 저장하고 조회하는 구조를 소개했습니다. S3, Athena, Bloom Filter를 활용해 비용과 연동 복잡도를 줄이는 방안을 설명했습니다.
#S3#Athena
3100
쿠팡 파트너스
개발자를 위한 서적을 확인해 보세요
이 게시물은 쿠팡 파트너스 활동의 일환으로, 이에 따른 일정액의 수수료를 제공받습니다.
#개발서적#프로그래밍
AWS 비용 최적화 Part 1: 버즈빌은 어떻게 월 1억 이상의 AWS 비용을 절약할 수 있었을까
AWS 비용을 매출 대비 인프라 비용과 과제별 절약액으로 관리해 최적화했습니다. 비용 드릴다운과 단가 비교로 우선순위를 정해 월 1억 이상을 절감했습니다.
#AWS#비용 최적화
000
랭킹 시스템 개편기
기존 오라클 프로시저 기반 랭킹 시스템의 확장성과 운영 비효율을 해결하기 위해 신규 아키텍처를 설계했습니다. AWS Glue, Athena, Step Function을 활용해 서버리스 랭킹 파이프라인을 구성했습니다.
#AWS Glue#Athena
2600
점점 커지는 RDB Table, S3로 귀양 보내고 Athena로 불러오기 - feat. Optimization with Spark Bucketing
이력성 데이터 증가로 MySQL 부담이 커져 S3와 Athena로 저장·조회 구조를 옮긴 사례를 다뤘습니다. Spark bucketing으로 필요한 데이터만 읽도록 최적화하는 흐름을 소개했습니다.
#MySQL#S3
1200
Self Serving Data Platform 구축하기 (feat. Airflow)
YAML 템플릿과 Airflow 팩토리 패턴으로 셀프 서빙 데이터 파이프라인을 구축했습니다.\n파티셔닝·의존성·멱등성을 추상화해 데이터 엔지니어 의존도를 낮췄습니다.
#Airflow#AWS
000
Serilog를 통해 애플리케이션 데이터를 수집하고 분석하자
Serilog로 구조화 로그를 만들고 S3에 적재한 뒤 Athena와 Glue로 분석하는 방법을 소개했습니다. 분산 환경의 로그를 SQL로 조회·JOIN하는 활용 예시도 함께 다뤘습니다.
#Serilog#S3
3200
Redshift DW에서 PG DM을 만드는 여정
Athena와 Redshift 직접 조인의 비용·성능 문제를 데이터마트로 완화하려 했습니다.\nPostgreSQL dblink와 자동 생성 프로시저로 Redshift 데이터를 선별 동기화했습니다.
#Redshift#PostgreSQL
2400