Self Serving Data Platform 구축하기 (feat. Airflow)
YAML 템플릿과 Airflow 팩토리 패턴으로 셀프 서빙 데이터 파이프라인을 구축했습니다.\n파티셔닝·의존성·멱등성을 추상화해 데이터 엔지니어 의존도를 낮췄습니다.
#Airflow#AWS
000
국내 IT 기업 기술 블로그 최신 글
새로운 기술 블로그가 추가되었어요
필터 1
Self Serving Data Platform 구축하기 (feat. Airflow)
셀프 서빙 데이터 플랫폼을 구축한 사례를 소개했습니다. Airflow를 활용해 데이터 파이프라인 운영 부담을 줄이는 방향을 다뤘습니다.
#Airflow#ETL
2800
MinIO 도입기— HA 이해 및 DR 전략 구성
MinIO를 아카이빙 스토리지로 도입하며 HA와 Failover 동작을 검증하고, 장애 레벨별 대응 기준을 정리했습니다. 또한 HDFS distcp와 Airflow로 Backup & Restore 체계를 구성해 DR 전략을 마련했습니다.
#MinIO#HA
2600
우당탕탕~ 영상 서비스 개발기 2탄 : 인코더와 라이브 서비스
영상 인코딩·패키징·CDN 파이프라인과 자막 기반 채팅 다시보기, Timed Metadata 투표를 소개했습니다. 라이브 장애의 HOL 블로킹 원인을 분석하고 이미지 캐시·HTTP/2로 개선했습니다.
#HLS#Airflow
000
컬리의 BigQuery 도입기 - 2부
BigQuery 기반 CDC 파이프라인으로 정형·비정형 데이터를 Final 테이블에 동기화했습니다.\nMerge와 리소스 분리로 적재 시간·조회 응답 시간·비용을 개선했습니다.
#BigQuery#Kafka
000
컬리의 BigQuery 도입기 - 2부
BigQuery 도입으로 정형·비정형 데이터 파이프라인을 분리해 구축하고, CDC 기반 적재와 Merge Procedure로 원본 정합성을 맞췄습니다. 또한 데이터 레이크하우스화, 쿼리 성능 개선, 비용 절감 효과를 얻었습니다.
#BigQuery#Kafka
3300
컬리의 BigQuery 도입기 - 1부
기존 데이터 파이프라인의 지연, 스토리지, 쿼리 경합, 복잡성 문제를 분석했습니다. BigQuery Streaming API와 프로젝트·파티션 분리로 개선 방향을 설계했습니다.
#BigQuery#Kafka
000
컬리의 BigQuery 도입기 - 1부
기존 데이터 파이프라인의 지연과 복잡성을 줄이기 위해 컬리가 BigQuery 도입 배경과 주안점을 정리했습니다. 스트리밍 적재, 파티션 관리, 프로젝트 분리로 성능과 비용을 함께 고려했습니다.
#BigQuery#Kafka
4200
쿠팡 파트너스
개발자를 위한 서적을 확인해 보세요
이 게시물은 쿠팡 파트너스 활동의 일환으로, 이에 따른 일정액의 수수료를 제공받습니다.
#개발서적#프로그래밍
데이터사이언스팀이 예측모델을 개발하고 운영하는 방법을 소개합니다.
수요예측·추천 모델을 현장에 배포하고 운영하는 구조와 MLOps 기반을 소개했습니다. 데이터 품질, 성능 해석, Leakage 방지와 협업 기반 사후 대응의 중요성을 정리했습니다.
#수요예측#MLOPS
000
데이터사이언스팀이 예측모델을 개발하고 운영하는 방법을 소개합니다.
데이터사이언스팀의 예측모델 개발·운영 구조와 MLOPS 기반 서빙 체계를 소개했습니다. 또한 배포 후 대응, 성능 분석, Leakage 주의 등 실무에서 배운 점을 정리했습니다.
#ML#MLOps
2900
브랜디 ML팀의 Change Point Detection (CPD) 모델 도입기
커머스 시계열 지표의 급변을 자동 감지하기 위해 온라인 CPD와 SDAR 기반 모델을 도입했습니다. Airflow와 Glue로 ETL·알림 파이프라인을 구성해 Slack 경보까지 연결했습니다.
#ML#AWS
4400
리디의 머신러닝 파이프라인 톺아보기
리디 데이터사이언스팀이 기존 시스템을 활용해 머신러닝 파이프라인을 구축한 사례를 소개했습니다. 학습, 배포, A/B 테스트, 모니터링까지 유기적으로 연결해 운영 효율을 높였습니다.
#ML#MLOps
3500
올리브영 데이터 엔지니어링
올리브영은 IDC 기반 ETL·DW 구조를 GCP 기반 데이터 플랫폼으로 확장했습니다.\nAirflow·Spark·BigQuery로 데이터 수집·처리·분석과 로그 수집을 지원합니다.
#ETL#GCP
2300
.png)
오토피디아 데이터 웨어하우스 구축하기
초기 스타트업의 데이터 분석 한계를 해결하기 위해 BigQuery 중심 데이터 웨어하우스를 구축했습니다. dbt·Airflow·Data Studio를 결합해 데이터 변환과 전사 대시보드 운영 방식을 정립했습니다.
#BigQuery#dbt
1700