통합 데이터 허브로 가는 길 - Part 3
아키텍처
통합 데이터 허브로 가는 길 - Part 3
두줄요약
Zeppelin의 익숙한 사용성을 유지하면서 JupyterHub에 기능과 운영 체계를 단계적으로 구현한 내용을 정리했습니다. 대용량 SQL 안정화, GitHub 자동화, 무중단 운영과 추적성 확보가 핵심이었습니다.
핵심 내용
- Zeppelin 사용 경험을 유지한 채 JupyterHub로 전환하면서 %%sql, %%spark, 지능형 SQL 작성, GitHub Enterprise 자동화 등을 구현
- 대용량 SQL 스트리밍, 파라미터 패널, 스캔 모니터링, 스키마 탐색, PR 자동 생성과 Slack 알림으로 사용성과 협업성 강화
- Hub와 사용자 컨테이너 분리, Jenkins 배포, Portainer 진단, 셀 실행 로그, 지역별 접근 제어, 로컬 테스트 환경으로 운영 안정성 확보
- 다음 단계로 LLM 기반 Text-to-SQL과 자연어 쿼리를 다루는 Jupyter AI 확장 예고