JuiceFS: 오브젝트 스토리지를 활용하는 HDFS 호환 분산 파일 시스템

핵심 내용

• HDFS는 데이터 로컬리티와 성능, 내결함성은 강하지만 저장 비용, 작은 파일 처리, 재해 대응, 운영 복잡도, Kubernetes 사용성에서 한계
• 오브젝트 스토리지는 비용과 확장성, 재해 복구에는 유리하지만 Listing, Rename, 권한, 접근 성능, POSIX 호환성에서 제약
• JuiceFS는 오브젝트 스토리지와 DB로 메타데이터를 분리해 HDFS 호환 파일 시스템을 구현하고, HDFS API·POSIX API·Kubernetes CSI를 지원
• Hadoop에서 JuiceFS를 쓰기 위한 설정 파일, Hadoop SDK 배포, HDFS CLI·MapReduce·Spark 연동 방법을 예시로 설명

적용해볼 점

• HDFS 애플리케이션을 오브젝트 스토리지로 옮길 때 Rename, Listing, Commit 동작 재검토
• 공용 Hadoop이나 Kubernetes 환경에서는 JuiceFS 같은 HDFS 호환 파일 시스템 검토
• 캐시, 메트릭 수집, 배포 방식 등 운영 설정을 환경에 맞게 조정