Velopers
모든 블로그모든 태그AI 업체 소식채용정보NEW공지주간 인기글주간 기술 흐름

국내 IT 기업 기술 블로그 최신 글

테크블로그국내 IT 기업 기술 블로그AI 업체 소식OpenAI · Anthropic 공식 블로그
필터 1
광고 영역
Airflow를 활용하여 아름다운 데이터 파이프라인 구성하기 / if(kakao)2019
카카오엔터테인먼트FE
2019년 8월 30일
데브옵스

Airflow를 활용하여 아름다운 데이터 파이프라인 구성하기 / if(kakao)2019

Airflow의 주요 개념과 아키텍처, 데이터 파이프라인 구성 방법을 소개했습니다. 유사 워크플로 관리 도구와 비교해 카카오페이지의 선택 및 운영 방식을 설명했습니다.

#Airflow#ETL
200
Apache Spark에서 컬럼 기반 저장 포맷 Parquet(파케이) 제대로 활용하기
타다
2018년 5월 24일
백엔드

Apache Spark에서 컬럼 기반 저장 포맷 Parquet(파케이) 제대로 활용하기

Spark 로그 저장 포맷을 JSON에서 Parquet로 전환하고 인코딩 옵션을 조정했습니다. 저장 용량을 74% 줄이고 쿼리 성능을 10~30배 높였습니다.

#Apache Spark#Parquet
2600
  • 이전
  • 1
  • 2
  • 3

Powered by Velopers

소개이용약관개인정보처리방침공지사항광고 문의