AICX: 수작업의 한계를 넘다. AI 기반 여행 상품 운영 자동화 구축기
여행 상품 운영의 수작업 과정을 AI로 자동화한 구축 사례를 소개했습니다. 데이터 통합, 카테고리 매칭, 번역, 적재 최적화와 프롬프트 개선 과정을 다뤘습니다.
#LLM#prompt
7400
필터 1
효율적인 데이터 분석을 위한 Trino와 Spark의 하이브리드 사용 방법
Trino는 빠른 실시간 분석과 멀티 소스 조인에 적합하고, Spark는 대규모 배치와 ETL에 유리하다고 설명했습니다. 두 엔진을 역할 분담하는 하이브리드 전략과 Trino의 운영 한계도 함께 정리했습니다.
#Trino#Spark
7600
Data Lineage를 활용한 Data Ontology 출발
Data Ontology 구축을 위해 Data Lineage로 Mart 데이터의 속성과 관계를 추출하는 방법을 소개했습니다. JsqlParser 기반 Table Level Lineage 파싱으로 WITH, INSERT, JOIN 흐름을 분석했습니다.
#Java#Data Lineage
10700
AWS Glue ETL을 활용한 CRM 데이터의 효율적인 병렬처리 전략
Step Functions와 Glue ETL로 고객사별 변경 데이터만 병렬 처리하는 아키텍처를 소개했습니다. 이를 통해 비용을 줄이고 준실시간 캠페인 분석 환경을 구축했습니다.
#AWS Glue#ETL
4200
Datahub(오픈 소스 메타데이터 플랫폼)
분산된 데이터 플랫폼의 메타데이터를 통합 관리하는 DataHub의 개념과 주요 기능을 소개했습니다. 검색, 계보 추적, 거버넌스, 접근 제어 관점에서 활용 포인트를 정리했습니다.
#DataHub#메타데이터
9100
비정형 데이터! Amazon Bedrock으로 제대로 활용하기
Amazon Bedrock의 비정형 데이터 처리 기능과 활용 사례를 정리했습니다. 멀티모달 처리와 GraphRAG로 RAG 품질을 높이는 방법을 소개했습니다.
#AWS#Amazon Bedrock
4000
Velopers 추천광고
쿠팡 파트너스
개발자를 위한 인기 상품을 확인해 보세요
이 게시물은 쿠팡 파트너스 활동의 일환으로, 이에 따른 일정액의 수수료를 제공받습니다.
#개발자#노트북#컴퓨터
데이터카탈로그 PM이 ‘데이터 디스커버리’라는 가치를 풀어내는 방법
데이터카탈로그를 통해 데이터 디스커버리를 검색, 미리보기, 리니지의 3단계로 풀어낸 사례를 소개했습니다. 데이터 찾기뿐 아니라 이해와 신뢰 확보까지 연결하는 방향을 제시했습니다.
#검색#데이터베이스
5200
스케일 넘치는 대용량 감사 로그, 스마트하게 관리하기 (OVEN)
대용량 감사 로그를 효율적으로 저장·조회하기 위한 OVEN의 설계와 운영 방안을 소개했습니다. S3 연동, 경로 기반 파티셔닝, Bloom Filter로 비용과 조회 성능을 개선했습니다.
#보안#S3
900
스케일 넘치는 대용량 감사 로그, 스마트하게 관리하기 (OVEN)
대용량 감사 로그를 S3 기반 HotStore/ColdStore 구조로 저장·조회하는 방법을 소개했습니다. Athena 연동과 Bloom Filter로 비용과 조회 성능을 함께 개선했습니다.
#보안#규정 준수
1300
스케일 넘치는 대용량 감사 로그, 스마트하게 관리하기 (OVEN)
대용량 감사 로그를 HotStore와 ColdStore로 분리해 효율적으로 저장하고 조회하는 구조를 소개했습니다. S3, Athena, Bloom Filter를 활용해 비용과 연동 복잡도를 줄이는 방안을 설명했습니다.
#S3#Athena
2800
ETL의 미래 기술: 빅데이터 시대 데이터 통합을 이끄는 트렌드와 혁신
ETL의 기원부터 현대의 ELT, 클라우드, AI 활용 흐름까지 정리했습니다. 현업 파이프라인을 AWS Glue로 재구성했을 때의 장점도 함께 설명했습니다.
#ETL#ELT
2900
최초로 공개된 Amazon S3 Tables 대해 개발팀에게 직접 묻다. (미공개 내용 포함)
Amazon S3 Tables의 발표 내용과 서비스팀 확인 사항을 정리한 글입니다. 분석 워크로드 성능 향상, 자동 유지보수, 비용과 한계를 함께 살펴보았습니다.
#AWS#Apache Iceberg
3400
Kafka와 ETL을 활용해 대용량 데이터 마이그레이션하기
대용량 이미지 데이터를 MySQL에서 MongoDB로 마이그레이션한 경험을 공유했습니다. Kafka, ETL, CDC를 조합해 동기화와 샤딩 최적화, 안정적 전환까지 진행했습니다.
#Kafka#ETL
5600
Talend Studio와 TAC를 이용한 ETL 데모
Talend Studio로 Oracle 테이블 ETL Job을 만들고 tMap, tFilterRow, 타입 변환 기능을 살펴보았습니다. TAC에서 빌드한 Job을 등록해 스케줄링과 모니터링까지 관리하는 흐름을 소개했습니다.
#ETL#Talend Studio
1300