Spark Connect on Kubernetes #1: 견고한 Spark Connect 만들기
Spark Connect를 멀티세션 서비스로 운영하며 생기는 단일 장애점과 리소스 경합 문제를 다뤘습니다. replica, Gateway, 부하 점수 기반 세션 배치로 안정성을 높인 과정을 정리했습니다.
#Spark#Kubernetes#gRPC
4600

Apache Spark 태그가 달린 국내 IT 기업 기술 블로그 글을 최신순으로 모았습니다.
2개 표시
Spark Connect를 멀티세션 서비스로 운영하며 생기는 단일 장애점과 리소스 경합 문제를 다뤘습니다. replica, Gateway, 부하 점수 기반 세션 배치로 안정성을 높인 과정을 정리했습니다.

AWS Glue SAP OData 커넥터로 SAP 데이터를 S3에 적재하고 델타 토큰 기반 증분 로드를 구성하는 방법을 소개했습니다. 자재 마스터와 자재 그룹 텍스트를 조인해 Athena에서 분석하는 흐름도 함께 설명했습니다.
