Databricks Lakehouse 아키텍처를 다시 정리하며 배운 점(손재홍_AI플랫폼엔지니어링)
두줄요약
Databricks Lakehouse를 Data Lake와 Warehouse의 운영상 한계를 보완하는 구조로 정리했습니다. Delta Lake의 트랜잭션 로그와 메타데이터가 버전·스키마·장애 추적을 지원합니다.
구조와 흐름
- 클라우드 오브젝트 스토리지 위에 다양한 원천 데이터를 저장하고 Warehouse 수준의 관리 기능을 결합한 Lakehouse 구조
- Delta Lake의 메타데이터와 트랜잭션 로그를 통한 파일 기반 저장소의 테이블 계층화
- BI와 ML/AI가 동일한 기반 데이터를 활용해 데이터 복제와 지표 불일치 축소
선택 이유
- Data Lake의 개방성·확장성과 Data Warehouse의 안정성·거버넌스 결합
- Parquet 파일 저장만으로 부족한 데이터 버전, 스키마 변화, 작업 상태 관리 보완
- 정형·로그·텍스트·이미지·이벤트 데이터를 함께 다루는 ML/AI 활용 맥락
성능/운영 포인트
- ACID 트랜잭션, 스키마 강제, Time Travel 기반의 커밋·버전 단위 상태 추적
- 배치 실패 시 이슈 발생 시점 확인과 이전 상태 검증 용이성
- 테이블 변경 이력, 데이터 품질, 스키마 변경 감지와 Job 모니터링의 통합 관리 필요
주의할 점
- Lakehouse 도입만으로 해결되지 않는 테이블 설계, 파티션 전략, 권한·비용 관리
- 데이터 집중에 따른 명확한 관리 기준과 운영 자동화 필요




