CDC 파이프라인 정합성 검사 Spark 잡의 최적화 방법을 다룬 후속 글입니다. 앞선 코드 설계편에 이어 Spark 잡 성능 개선과 운영 관점을 소개했습니다.
Senior AI Data Pipeline Engineer (Autonomous Driving)
42dot · Sunnyvale, United States
자율주행 대규모 씬 데이터의 추출·라벨링·처리 파이프라인, 데이터 레이크하우스 및 ML 학습용 데이터 SDK를 개발·운영합니다. Python SDK 개발과 Databricks Workflows 또는 Apache Airflow 기반 오케스트레이션, 데이터베이스·Spark·레이크하우스 경험이 필요합니다.
AI Platform Engineer (Inference Pipeline)
토스 · Seoul
ML·LLM·Vision 모델을 조합한 대용량 AI 추론 파이프라인을 설계·운영하고, 비용·처리량·안정성을 end-to-end로 최적화합니다. LLM/ML 기반 대규모 라이브 서비스와 비동기 또는 배치 처리 운영 경험이 필요합니다.
Senior DevOps Engineer (CI/CD Pipeline)
42dot · Pangyo (Software Dream Center), South Korea
대규모 Embedded Software 조직의 CI/CD 파이프라인을 설계·구축·운영하며, 빌드·테스트·검증·패키징·릴리즈 자동화와 품질 개선을 담당합니다. 대규모 조직의 CI/CD 운영 경험, Linux·Python/Bash 및 C/C++ 빌드 시스템 이해가 필요합니다.
LLM Research Engineer (Pre-training) (신입/경력)
카카오 · 신입·경력 · 판교
Kanana 사전학습을 위해 LLM 구조·학습·데이터 최적화와 대규모 데이터 수집·생성 기술을 연구·개발합니다. 관련 석사 이상 또는 프로젝트 경험과 Model Parallel 기반 모델 학습 경험이 필요합니다.
[공동체] 카카오모빌리티 백엔드 개발자(공간정보 시스템 개발)
카카오모빌리티
공간정보 데이터 모델링과 수집·검수·가공·배포용 백엔드 시스템의 설계·개발, 성능 개선을 담당합니다. 객체지향 언어 활용 능력과 자료구조·알고리즘·소프트웨어 설계 등 CS 기본기가 필요합니다.
[공동체] 카카오페이 프로덕트 엔지니어 - 사내 생산성 플랫폼
카카오페이
사내 개발·테스트 환경과 생산성 플랫폼을 클라이언트·서버·어드민까지 End-to-End로 개발·운영하며, 사용자 피드백 기반 기능을 설계·개선합니다. FE·BE·iOS·Android 중 1개 이상에서 7년 이상의 개발 경험과 다양한 영역을 다뤄본 경험이 필요합니다.
[공동체] 카카오헬스케어 AI Native EHR 개발
카카오헬스케어
AI 네이티브 병원정보시스템을 설계·개발하고, 병원 프로세스 및 임상 데이터 모델을 구현하며 EMR과 AI Agent/LLM 서비스 연계를 담당합니다. EMR·HIS·OCS·EHR 등 의료정보시스템 개발 또는 운영 10년 이상 경험과 헬스케어·의료 데이터 이해가 필요합니다.
#Spark 주제를 이어서 읽기
CDC 파이프라인 정합성 검사 Spark 잡의 코드 설계 배경을 소개했습니다. 대규모 데이터 응집 환경에서 검증용 잡을 어떻게 구성할지 다루는 글입니다.
