총 용량 1EB 초과! 서로 역사가 다른 두 HDFS를 어떻게 연결할까? 데이터 플랫폼 연계 중 직면한 과제와 설계 결정
LY Corporation의 두 HDFS 플랫폼을 통합 운영하며 겪은 스케일링 문제와 연계 설계를 다뤘습니다.권한 모델, Cross-Realm Kerberos, DistCP를 통해 안전한 데이터 전송 구조를 마련한 과정을 소개했습니다.
#HDFS#Hadoop
31005분
필터 1
동적 사용자 분할을 활용한 새로운 A/B 테스트 시스템을 소개합니다
사용자 세그먼트 기반으로 A/B 테스트 그룹을 나누는 동적 분할 시스템을 소개했습니다. 타겟팅·할당·로그 수집 흐름과 실제 활용 사례도 함께 정리했습니다.
#A/B 테스트#Spark
95005분
JuiceFS: 오브젝트 스토리지를 활용하는 HDFS 호환 분산 파일 시스템
JuiceFS: 오브젝트 스토리지를 활용하는 HDFS 호환 분산 파일 시스템
HDFS와 오브젝트 스토리지의 장단점을 비교하고, 그 한계를 보완하는 JuiceFS의 구조와 활용법을 설명했습니다. Hadoop 환경에서 JuiceFS를 설정해 HDFS CLI, MapReduce, Spark와 연동하는 방법도 다뤘습니다.
#Hadoop#HDFS
80005분