데브옵스
미리디의 데이터 혁신 | “폭발적인 성장을 이끄는 데이터브릭스 기반 데이터 문화 구축 이야기”
두줄요약
데이터브릭스를 중심으로 데이터 아키텍처를 재설계해 신뢰성과 운영 효율을 높인 사례를 소개했습니다. 또한 전사 구성원이 데이터를 더 쉽게 활용하는 문화로 확장한 과정을 공유했습니다.
문제 상황
- 서비스 성장으로 데이터가 급증하며 기존 처리 방식으로 감당하기 어려운 상황
- 데이터가 여러 시스템에 파편화되어 탐색, 유지보수, 장애 대응, 분석 시작이 모두 복잡한 상태
- 거버넌스와 모니터링이 부족해 신뢰도 저하, 원인 추적 어려움, 대용량 처리 성능 한계 발생
해결 방법
- 데이터브릭스를 데이터 처리·분석 중심 허브로 두고 에어플로, 쿠버네티스, 카프카, 데이터 허브, 테블로와 역할 분리
- 유니티 카탈로그와 메달리온 아키텍처로 데이터 계층화, 접근 제어, 감사 로그, 테이블 히스토리, 리니지 시각화 강화
- 작업 유형별 클러스터 분리와 Delta-RS 기반 경량 실행으로 비용 절감과 처리 속도 최적화
적용해볼 점
- 데이터 도구 도입을 넘어 조직의 데이터 활용 방식과 문화까지 함께 재설계하는 접근
- 비개발자도 SQL 없이 조회할 수 있는 셀프서비스 분석 환경과 자동 권한 부여 같은 접근성 개선
- 대시보드 자동 공유와 주기적 갱신으로 전사 의사결정 속도 높이는 운영 방식
