Spark의 Broadcast 기능으로 셔플을 줄이고 join 성능을 높이는 방법을 소개했습니다. 작은 데이터셋에는 자동 broadcast 감지와 설정 조건도 함께 설명했습니다.
AI Research Engineer - LLM Inference Optimization
업스테이지 · 경력 3년 이상
LLM 서빙 환경에서 지연시간·처리량·비용을 최적화하는 시스템·알고리즘과 모델 경량화 파이프라인을 연구·구현합니다. LLM 추론 엔진, 모델 압축·KV 캐시 최적화·GPU 프로그래밍·컴파일러 스택 중 한 분야의 실무 경험이 필요합니다.
Machine Learning Engineer Intern (3-month Internship)
몰로코 · Seoul, Korea
대규모 광고 머신러닝 시스템의 모델 실험·아키텍처 설계·피처 엔지니어링·성능 최적화 또는 ML 실험·학습·서빙 인프라 고도화를 담당합니다. 확률·통계·머신러닝 및 알고리즘·자료구조 역량과 Python·Java·Golang 중 하나의 활용 능력이 필요합니다.
Production Engineer, LLM Serving
퓨리오사AI · Seoul
RNGD NPU 기반 프로덕션 LLM 서빙의 신뢰성·관측성·성능을 책임지며, 병목 분석과 배포 자동화로 지연시간·처리량·자원 효율을 개선합니다. Rust·C++·Python·Go 중 프로그래밍 역량과 Kubernetes 환경 서비스 운영 경험이 필요합니다.
#Spark 주제를 이어서 읽기
Spark에서 파티션이 병렬성, 메모리, 파일 수에 미치는 영향을 설명했습니다. 입력·출력·셔플 파티션 설정을 조정해 성능을 최적화하는 방법을 소개했습니다.
