데이터 파이프라인 CI 테스트 시간을 7분대에서 3분대로 줄인 개선 사례를 다뤘습니다. YAML 작성부터 PR, 배포까지의 흐름 속 병목을 줄이는 방법을 소개했습니다.
데이터 엔지니어 (DataOps) (Data Engineer)
토스증권 · Seoul
데이터 전용 Kubernetes와 데이터 CI/CD, 로그·검색 또는 데이터 배포·워크플로 플랫폼을 구축·운영하며 공통 데이터 인프라를 제공합니다. 데이터 플랫폼·인프라 엔지니어링 3년 이상 및 두 영역 중 하나의 구축·운영 경험이 필요합니다.
NPU Software Engineer - SDK
리벨리온 · Rebellions | Korea
NPU용 SDK의 CI/CD 릴리스 파이프라인 구축·운영, 최신 딥러닝 모델 포팅·최적화, 오픈소스 추론 프레임워크 연동 및 개발자 문서화를 담당합니다. CI/CD 도구, PyTorch 내부 구조, Python·Modern C++ 및 AI 추론 운영 환경 경험이 필요합니다.
[Infra Div.] DevSecOps/공급망 보안 엔지니어 (5~8년)
크래프톤 · 5~8년 · Seoul
게임 및 사내외 서비스의 취약점 진단·조치 추적과 CI/CD 보안 점검, 오픈소스 공급망 보안 체계 구축·운영을 담당합니다. DevSecOps 또는 애플리케이션 보안 경력과 GitHub Actions·GitLab CI 기반 보안 점검 통합, Python 자동화 역량이 필요합니다.
#Airflow 주제를 이어서 읽기
Airflow 데이터 파이프라인 CI의 이미지 캐시, 의존성, 초기화·병렬 실행을 개선했습니다. 최대 7분 걸리던 테스트를 안정적인 3분 중반대로 약 50% 단축했습니다.
