미리디의 데이터 혁신 | “폭발적인 성장을 이끄는 데이터브릭스 기반 데이터 문화 구축 이야기”

문제 상황

• 서비스 성장으로 데이터가 급증하며 기존 처리 방식으로 감당하기 어려운 상황
• 데이터가 여러 시스템에 파편화되어 탐색, 유지보수, 장애 대응, 분석 시작이 모두 복잡한 상태
• 거버넌스와 모니터링이 부족해 신뢰도 저하, 원인 추적 어려움, 대용량 처리 성능 한계 발생

해결 방법

• 데이터브릭스를 데이터 처리·분석 중심 허브로 두고 에어플로, 쿠버네티스, 카프카, 데이터 허브, 테블로와 역할 분리
• 유니티 카탈로그와 메달리온 아키텍처로 데이터 계층화, 접근 제어, 감사 로그, 테이블 히스토리, 리니지 시각화 강화
• 작업 유형별 클러스터 분리와 Delta-RS 기반 경량 실행으로 비용 절감과 처리 속도 최적화

적용해볼 점

• 데이터 도구 도입을 넘어 조직의 데이터 활용 방식과 문화까지 함께 재설계하는 접근
• 비개발자도 SQL 없이 조회할 수 있는 셀프서비스 분석 환경과 자동 권한 부여 같은 접근성 개선
• 대시보드 자동 공유와 주기적 갱신으로 전사 의사결정 속도 높이는 운영 방식