목록 보기
Data-Driven 문화를 만드는 사람들 - 데이터플랫폼셀
데브옵스

Data-Driven 문화를 만드는 사람들 - 데이터플랫폼셀

데브시스터즈
데브시스터즈
2020년 10월 15일

두줄요약

데이터플랫폼셀은 수집부터 분석·제공까지의 플랫폼을 구축해 데이터 기반 업무를 지원합니다. Kubernetes와 클라우드, 협업 문화를 바탕으로 활용성과 운영 품질을 높이고 있습니다.

구조와 흐름

  • 제품 데이터의 수집·가공·분석·제공 전 과정을 담당하는 데이터플랫폼셀
  • 로깅·분석·A/B 테스팅·지표 분석 플랫폼으로 구성원의 데이터 접근과 활용 지원
  • Kafka, Elasticsearch, Spark, Airflow, Amazon S3 기반 Data Lake와 Python·Scala·Go 활용

선택 이유

  • 기술 장벽을 낮춰 구성원이 데이터 기반 의사결정과 신규 시도를 수행하도록 지원
  • 내부 구성원 경험 개선을 외부 사용자 경험 향상으로 연결하는 데이터 서비스 지향

성능/운영 포인트

  • 클라우드와 Kubernetes 기반 데이터 플랫폼으로 확장성과 안정성 강화
  • Spark 기능을 자체 라이브러리로 감싸 비개발자 활용성 제고
  • 포스트모템·페어 프로그래밍·원온원으로 장애 재발 방지와 지식 공유

적용해볼 점

  • 데이터 플랫폼의 사용자 범위를 개발자뿐 아니라 전 구성원으로 확장
  • A/B 테스트 결과를 제품 밸런싱과 운영 의사결정의 근거로 활용

다음 읽기

#Spark 주제를 이어서 읽기

데이터 분석 라이브러리 개발기 (1)

PySpark 분석의 경로·설정 관리와 Notebook·batch 환경 차이를 DevPlay Analytics로 추상화했습니다. SQL 인터페이스와 문서화·테스트를 제공해 일일 200종 이상 테이블 적재에 활용했습니다.

데브시스터즈
데브시스터즈
백엔드

댓글 0개

댓글을 작성하려면 로그인이 필요합니다.

댓글을 불러오는 중...