채용정보로 돌아가기

올리브영 채용정보

Data Platform&Governance Engineer

Databricks·BigQuery 기반 레이크하우스와 AWS-GCP 멀티 클라우드 파이프라인을 운영하고, 데이터 거버넌스·리니지 체계를 구축합니다. 대용량 파이프라인 설계·운영 및 거버넌스 시스템 구축 경험이 필요합니다.

경력 경력 7년 이상CJ올리브영정규직마감일 상시·미정
필요 기술DatabricksBigQuerySparkAWSGCPOpenMetadataDataHubUnity Catalog

내 적합도 확인 중...

공식 채용 페이지에서 지원하기

공고 내용

직무소개 기준만 만드는 ​문서상의 ​거버넌스를 ​넘어, 실제 ​데이터 흐름(Pipeline)에 거버넌스를 직접 ​밀착 시켜 ​전사에 신뢰할 ​수 있는 데이터 ​생태계를 만듭니다. 거버넌스 ​정책 ​수립부터 멀티 ​클라우드(AWS-GCP) ​연계, ​BigQuery/Databricks 기반의 레이크하우스(Lakehouse) ​운영, ​Bronze~Silver 계층의 코어 ​파이프라인 ​구축을 ​전담합니다. 오랫동안 방치되었던 ​데이터 리니지(Lineage)를 ​처음부터 ​신규 구축하고, ​메달리온 아키텍처(Medallion ​Architecture)로 ​전사 플랫폼을 전환하는 ​큰 이정표를 ​함께 이끌어갈 시니어 엔지니어를 모십니다. 1. 차세대 데이터 플랫폼(Databricks/BigQuery) 운영 및 메달리온 아키텍처 확산 Databricks 및 BigQuery 기반 코어 레이크하우스 운영, 스토리지/컴퓨팅 리소스 최적화(FinOps) 전사 표준 데이터 레이크 구조를 메달리온 아키텍처(Bronze-Silver-Gold)로 재정비하고 확장 적용 실시간 서빙 및 코어 파이프라인에 대한 개인정보 2중 분리(네트워크·권한) 및 보안 가드레일 구현 2. 통합 데이터 거버넌스 · 디스커버리 체계 및 리니지(Lineage) 구축 파편화된 메타데이터를 단일 데이터 카탈로그/거버넌스 플랫폼(OpenMetadata, Datahub, Unity Catalog 등)으로 통합 원천(Source)부터 최종 활용(DW/Mart)까지 전체 데이터 흐름을 추적할 수 있는 전사 데이터 리니지(Lineage) 신규 구축 PII(개인정보) 자동 탐지·태깅, 자동 마스킹 및 접근제어 정책 엔진 구축을 통한 셀프서비스 디스커버리 체계 제공 3. 멀티 클라우드(AWS-GCP) 파이프라인 연동 및 실시간 처리 체계 강화 운영계(AWS)

  • 정보계(GCP) 간 크로스 클라우드 데이터 연계 구간 표준화 및 안정화 대용량 CDC(MSK/Kafka Connect) 및 실시간 처리(Flink) 파이프라인 확장 운영 AI/LLM 조직 및 서비스 연계를 위한 실시간 데이터 파이프라인(RAG 연계, 온톨로지 포탈 등) 인프라 지원 4. 전사 유관 조직(SRE / DBRE / 정보보안 / AI) 커뮤니케이션 리딩 SRE/DBRE 팀과 협력하여 파이프라인 및 데이터 인프라의 가용성, SLO/SLA 모니터링 체계 수립 정보보안센터 및 AI 조직과 협력하여 LLM 활용 시 민감정보 노출을 방지하는 보안 가드레일 체계 구축 요구경험 및 역량 데이터 파이프라인 구축 또는 데이터 거버넌스(카탈로그/리니지/품질) 실무 경력 5년 이상인 분 BigQuery 또는 Databricks (Spark / Lakehouse) 환경에서 대용량 데이터 파이프라인을 직접 설계하고 운영해 본 분 메타데이터 관리, 데이터 카탈로그, 리니지(Lineage) 등 거버넌스 시스템을 설계·구축해 본 경험이 있으신 분 AWS 및 GCP 등 멀티 클라우드 환경에서 데이터 연계(Cross-Cloud) 파이프라인을 운영해 본 역량을 갖추신 분 개인정보 암호화, 마스킹 등 보안 및 컴플라이언스를 고려한 데이터 아키텍처 설계 경험이 있으신 분 SRE, DBRE, 정보보안, AI 조직 등 다양한 유관 부서와 설계 초기 단계부터 논리적으로 소통할 수 있는 협업 역량을 갖추신 분 우대사항 레거시 메타데이터 체계를 전사 통합 카탈로그/거버넌스 플랫폼으로 전환 및 구축해 본 경험 (특히 리니지 신규 구축 경험) Databricks Unity Catalog 또는 메달리온 아키텍처 설계/이관 경험 CDC 파이프라인(Debezium, MSK Connect 등) 및 실시간 처리 프레임워크(Flink, Kafka Streams) 활용 경험 BigQuery Slot 관리 및 Databricks DBU 비용 최적화(FinOps) 성과를 내보신 분 LLM/생성형 AI 연계 데이터 플랫폼에 필요한 보안 가드레일(민감정보 탐지·마스킹 등) 설계 경험 Terraform 등 IaC 기반의 데이터 인프라 코드화 및 자동화 경험 전형안내 서류전형
  • 1차 면접 전형(Whiteboard Test/구술)
  • 온라인 인성검사
  • 2차 면접 전형
  • 3차 전형(평판조회 및 처우협의)
  • 건강검진
  • 합격 지원 및 유의사항 병역필 또는 면제로 해외여행에 결격사유가 없는 분에 한하여 지원 가능합니다. 채용에 합격하시는 경우 3개월의 수습기간을 적용합니다. 직무에 따라 면접 방식 및 전형 프로세스가 변경될 수 있습니다. 지원서 내용 중 허위사실이 확인될 경우 채용이 취소될 수 있습니다. CJ계열사(자회사 포함)에 재직 중인 경우 지원이 제한됩니다. 전형 불합격 후 6개월 내 동일 공고 재지원은 권장하지 않습니다. 2차 면접 합격자에 한하여 평판조회 및 처우협의가 동시 진행되며, 평판조회 결과에 따라 채용 절차가 중단될 수 있습니다. 올리브영 채용 블로그에서 더 많은 정보를 확인해 보세요! 👉채용블로그 바로가기 : https://career.oliveyoung.com 👉 테크블로그 바로가기 : https://oliveyoung. tech

해당 공고에 지원하기 전에 읽으면 좋은 해당 회사 기술 포스트

채용 기업과 계열사의 기술 블로그에서 공고와 주제가 가까운 글을 모았어요.

다른 기업의 유사 기술 글