
개발 데이터 수집 플랫폼 구축하기
사내 개발 편의성 도구의 사용 데이터를 수집하기 위해 Google Analytics와 BigQuery를 활용한 파이프라인을 구축했습니다. DevExEvent와 Publisher 구조로 이벤트 발행을 표준화하고, 운영상 한계도 함께 정리했습니다.

사내 개발 편의성 도구의 사용 데이터를 수집하기 위해 Google Analytics와 BigQuery를 활용한 파이프라인을 구축했습니다. DevExEvent와 Publisher 구조로 이벤트 발행을 표준화하고, 운영상 한계도 함께 정리했습니다.


Hive 애널리틱스 로그로 신규 유저의 보상형 광고 시청 여부와 이후 LTV, 전환율, 리텐션을 비교 분석했습니다. 광고 시청 집단이 더 높은 과금과 활동성을 보여 세그먼트 추적과 푸시 운영에 활용할 수 있었습니다.

Google Cloud Next’23 오프라인 참관기를 통해 Generative AI와 Duet AI의 흐름을 소개했습니다. BigQuery와 데이터 업무에서의 활용 가능성에 큰 기대를 전했습니다.

Kubernetes 환경에 맞춰 로그 플랫폼을 다시 설계해 서비스 통합 비용을 줄였습니다. 로그 성격별 파이프라인 분리와 다양한 저장 형식 지원으로 확장성과 운영 효율도 높였습니다.


기존 Firebase 이벤트 로그의 부족한 데이터, 분리된 문서, 디버깅 어려움을 해결하기 위해 새 로그 체계를 설계했습니다. 구글 시트와 Redash를 활용해 문서화, 검증, 운영을 한 흐름으로 묶었습니다.


BigQuery Compressed Storage의 GA 예정 소식을 통해 물리적 스토리지 비용 절감 가능성을 소개했습니다. 기존 BigQuery 비용 구조를 더 효율적으로 바꿀 수 있는 점에 주목했습니다.


BigQuery Autoscaler를 소개하며 분석 워크로드 증가에 맞춰 컴퓨팅 자원을 자동 확장하는 방법을 다뤘습니다. 비용과 응답시간을 함께 고려하는 활용 방향을 설명했습니다.
이 게시물은 쿠팡 파트너스 활동의 일환으로, 이에 따른 일정액의 수수료를 제공받습니다.


빅쿼리의 비용 효율을 높이는 방법을 다루는 글입니다. 데이터 플랫폼 구축에서 클라우드 환경의 가성비 문제를 짚습니다.


준실시간 수요예측을 위해 Apache Beam 기반 GCP Dataflow 파이프라인을 도입한 배경과 동작 구조를 설명했습니다. Flex 템플릿·CI/CD 배포 과정과 스트리밍, 권한, 비용 관련 운영 팁을 정리했습니다.


컬리의 준실시간 수요 예측 모델을 위해 Dataflow 파이프라인을 도입한 배경과 전체 동작 방식을 설명했습니다. Beam, Flex 템플릿, CI/CD, 권한 설정 등 실무 적용 포인트도 함께 정리했습니다.

영상 플레이어 API의 성능 요구에 맞춰 Cloud Run에서 GKE로 전환하고 SSE를 부하 테스트했습니다. Vector·GCS·Dataflow·BigQuery 기반 로그 수집과 분석 파이프라인을 구축했습니다.


BigQuery 기반 CDC 파이프라인으로 정형·비정형 데이터를 Final 테이블에 동기화했습니다. Merge와 리소스 분리로 적재 시간·조회 응답 시간·비용을 개선했습니다.


BigQuery 도입으로 정형·비정형 데이터 파이프라인을 분리해 구축하고, CDC 기반 적재와 Merge Procedure로 원본 정합성을 맞췄습니다. 또한 데이터 레이크하우스화, 쿼리 성능 개선, 비용 절감 효과를 얻었습니다.


기존 데이터 파이프라인의 지연, 스토리지, 쿼리 경합, 복잡성 문제를 분석했습니다. BigQuery Streaming API와 프로젝트·파티션 분리로 개선 방향을 설계했습니다.