Terraform으로 EKS를 구성해 실시간 데이터 파이프라인과 CDC 파이프라인 구축을 다뤘습니다. 인프라를 선언적으로 관리하며 실시간 처리 환경을 준비하는 내용입니다.
Staff Backend Engineer (Streaming & AI Infrastructure)
쿠팡 · Seoul, South Korea; z-Test & Templates Only
차세대 실시간 스트리밍·AI 플랫폼의 분산 스트리밍 엔진을 설계하고, 초고처리량·저지연·고가용성 시스템 및 AI/ML 기반 처리 기능을 구현합니다. Java·Spring, Cassandra·TiDB·DynamoDB, AWS 기반 분산 시스템과 Kafka·SQS 메시징 경험이 필요합니다.
Data Engineer (Streaming)
토스플레이스 · Seoul
Flink와 Kafka 기반의 실시간 데이터 파이프라인 및 공통 스트리밍 플랫폼을 설계·구축·운영합니다. Kafka 환경에서 Flink·Kafka Streams·Spark Streaming 등을 활용해 파이프라인 전 과정을 주도한 경험이 필요합니다.
Data Platform Engineer (Streaming)
토스뱅크 · Seoul
실시간 데이터 플랫폼과 데이터 제품을 개발·운영하며, CDC 기반 파이프라인·대용량 메시지 처리·실시간 로그 저장을 담당합니다. Kafka Connect, Flink, CDC를 활용한 실시간 데이터 파이프라인 구축 경험이 필요합니다.
비슷한 주제의 백엔드 글
Oracle에서 MongoDB로 초기 데이터 이관과 CDC 파이프라인 구축 경험을 공유했습니다. 관계형 DB에서 문서형 DB로의 변경 데이터 연동 흐름을 다뤘습니다.
