로그 파이프라인 개선기 - 기존 파이프라인 문제 정의 및 해결 방안 적용
기존 로그 배치 파이프라인의 분류 비효율, 낮은 신선도, 스키마 관리 부재를 정리하고 개선 방향을 설명했습니다. MSK와 Kafka Consumer, Protobuf, Schema Registry를 활용한 준실시간 구조로 전환한 과정을 소개했습니다.
#BigQuery#Kafka
35005분
새로운 기술 블로그가 추가되었어요
필터 1
새로운 기술 블로그가 추가되었어요
기존 로그 배치 파이프라인의 분류 비효율, 낮은 신선도, 스키마 관리 부재를 정리하고 개선 방향을 설명했습니다. MSK와 Kafka Consumer, Protobuf, Schema Registry를 활용한 준실시간 구조로 전환한 과정을 소개했습니다.
요기요는 MSA 환경에서 분산된 데이터를 통합하기 위해 Confluent Schema Registry를 도입했습니다.\nSubjectNameStrategy 3종과 multiple type event 적용 이슈를 Pilot 경험을 바탕으로 정리했습니다.