목록 보기
DataHub Opensource에 Protobuf Multi-level nested message support 기능 PR 작성 후기
백엔드

DataHub Opensource에 Protobuf Multi-level nested message support 기능 PR 작성 후기

네이버 플레이스
네이버 플레이스
2023년 2월 10일

두줄요약

DataHub의 Protobuf nested message 주석 미표시 문제를 원인 분석 후 코드와 테스트로 수정했습니다. 오픈소스 기여 과정에서 Slack 커뮤니케이션과 Checkstyle 대응도 함께 경험했습니다.

문제 상황

  • DataHub에서 Protobuf 1뎁스 메시지의 주석은 description으로 표시되지만, nested message의 field 주석은 누락되는 문제
  • 조직 내 데이터 명세에서 nested 타입 Protobuf를 이미 사용 중이라 단순 회피가 어려운 상황

원인 분석

  • Protobuf 위치 정보(path) 처리 로직이 일반 field 번호만 기준으로 동작
  • nested type message에 해당하는 path 값이 들어오면 대상 field를 식별하지 못하는 구조

해결 방법

  • DataHub protobuf ingestion 로직에서 nested type path를 함께 처리하도록 코드 수정
  • nested message field의 description 검증용 테스트 케이스 추가

주의할 점

  • PR 전 Checkstyle과 테스트 케이스를 함께 맞춰야 하는 점
  • 실제 데이터와 테스트 데이터의 차이로 추가 오류가 발생할 수 있는 점

네이버 계열사 채용4건

채용 사이트에서 전체 보기

다음 읽기

#DataHub 주제를 다룬 다른 회사 글

Datahub(오픈 소스 메타데이터 플랫폼)

분산된 데이터 플랫폼의 메타데이터를 통합 관리하는 DataHub의 개념과 주요 기능을 소개했습니다. 검색, 계보 추적, 거버넌스, 접근 제어 관점에서 활용 포인트를 정리했습니다.

베스핀글로벌
베스핀글로벌
기타

댓글 0개

댓글을 작성하려면 로그인이 필요합니다.

댓글을 불러오는 중...