백엔드
사용자에서 데이터 엔지니어로, 쏘카 온보딩 회고
두줄요약
체계적인 온보딩을 거쳐 운전 점수와 서버 로그 실시간 데이터 파이프라인 구축에 참여했습니다. 데이터 정합성 정책, Kubernetes 기반 운영, 온콜 대응을 통해 실무 적응 경험을 공유합니다.
구조와 흐름
- 개발 환경·계정 설정과 Kubernetes 등 기술 스택 기반 온보딩 과제
- 운전 점수 데이터의 AWS MSK 전달, 서버 로그 적재 구조 개선, 온콜 운영 경험
- 문서화된 내부 지식과 팀 협업 기반의 빠른 실무 적응
문제 상황
- 운전 점수 산출 소스의 데이터 누락·지연에 따른 정합성 및 신뢰성 확보 과제
- 부재하고 복잡한 서버 로그 적재 프로세스의 품질·운영 효율성·비용 문제
- 온콜 업무의 다수 요청·장애 대응과 빈번한 컨텍스트 스위칭
해결 방법
- 적재 스케줄 조정과 데이터 정책 수립, Produce 단계 코드 검증
- 마케팅 엔지니어링팀과 데이터 포맷·전달 방식 협의, Glue Schema 도입
- Kubernetes 기반 KDS Consumer와 Helm 차트 구성, 기존·신규 구조 병행 운영
성능/운영 포인트
- MSK의 자동 offset 관리와 KDS의 직접 sequence number 관리 차이
- MSK 파티션 축소 제약과 KDS 샤드의 동적 조정 가능성
- Opsgenie 기반 온콜 로테이션과 데이터 적재·권한·Airflow·인프라 요청 대응