국내 IT 기업 기술 블로그 최신 글

필터 1
개발 데이터 수집 플랫폼 구축하기
라포랩스
백엔드

개발 데이터 수집 플랫폼 구축하기

사내 개발 편의성 도구의 사용 데이터를 수집하기 위해 Google Analytics와 BigQuery를 활용한 파이프라인을 구축했습니다. DevExEvent와 Publisher 구조로 이벤트 발행을 표준화하고, 운영상 한계도 함께 정리했습니다.

#Kotlin#BigQuery
1800
Hive 애널리틱스 로그를 활용한 ‘신규 유저 및 보상형 광고’ 데이터 분석 사례
컴투스
백엔드

Hive 애널리틱스 로그를 활용한 ‘신규 유저 및 보상형 광고’ 데이터 분석 사례

Hive 애널리틱스 로그로 신규 유저의 보상형 광고 시청 여부와 이후 LTV, 전환율, 리텐션을 비교 분석했습니다. 광고 시청 집단이 더 높은 과금과 활동성을 보여 세그먼트 추적과 푸시 운영에 활용할 수 있었습니다.

#BigQuery#광고
3300
Google Cloud Next’23 참관기
요기요
기타

Google Cloud Next’23 참관기

Google Cloud Next’23 오프라인 참관기를 통해 Generative AI와 Duet AI의 흐름을 소개했습니다. BigQuery와 데이터 업무에서의 활용 가능성에 큰 기대를 전했습니다.

#GCP#BigQuery
2700
Kubernetes-native 로그 플랫폼
watcha
데브옵스

Kubernetes-native 로그 플랫폼

Kubernetes 환경에 맞춰 로그 플랫폼을 다시 설계해 서비스 통합 비용을 줄였습니다. 로그 성격별 파이프라인 분리와 다양한 저장 형식 지원으로 확장성과 운영 효율도 높였습니다.

#Kubernetes#MSA
3900
이벤트 로그 체계 구축 여정
spoqa
백엔드

이벤트 로그 체계 구축 여정

기존 Firebase 이벤트 로그의 부족한 데이터, 분리된 문서, 디버깅 어려움을 해결하기 위해 새 로그 체계를 설계했습니다. 구글 시트와 Redash를 활용해 문서화, 검증, 운영을 한 흐름으로 묶었습니다.

#Firebase#BigQuery
2700
BigQuery의 물리적 스토리지 비용을 확 줄일 수 있다!
클라우드메이트
백엔드

BigQuery의 물리적 스토리지 비용을 확 줄일 수 있다!

BigQuery Compressed Storage의 GA 예정 소식을 통해 물리적 스토리지 비용 절감 가능성을 소개했습니다. 기존 BigQuery 비용 구조를 더 효율적으로 바꿀 수 있는 점에 주목했습니다.

#BigQuery
1400
비용과 응답시간 두마리 토끼를 잡는 방법! BigQuery Autoscaler
클라우드메이트
데브옵스

비용과 응답시간 두마리 토끼를 잡는 방법! BigQuery Autoscaler

BigQuery Autoscaler를 소개하며 분석 워크로드 증가에 맞춰 컴퓨팅 자원을 자동 확장하는 방법을 다뤘습니다. 비용과 응답시간을 함께 고려하는 활용 방향을 설명했습니다.

#BigQuery
1500
쿠팡 파트너스

광고

개발자를 위한 서적을 확인해 보세요

이 게시물은 쿠팡 파트너스 활동의 일환으로, 이에 따른 일정액의 수수료를 제공받습니다.

#개발서적#프로그래밍
빅쿼리(BigQuery)의 가성비를 높이는 법
클라우드메이트
백엔드

빅쿼리(BigQuery)의 가성비를 높이는 법

빅쿼리의 비용 효율을 높이는 방법을 다루는 글입니다. 데이터 플랫폼 구축에서 클라우드 환경의 가성비 문제를 짚습니다.

#BigQuery#GCP
1900
Dataflow로 컬리의 준실시간 수요 예측모델 파이프라인 구축하기 - 1편
마켓컬리
AI

Dataflow로 컬리의 준실시간 수요 예측모델 파이프라인 구축하기 - 1편

준실시간 수요예측을 위해 Apache Beam 기반 GCP Dataflow 파이프라인을 도입한 배경과 동작 구조를 설명했습니다. Flex 템플릿·CI/CD 배포 과정과 스트리밍, 권한, 비용 관련 운영 팁을 정리했습니다.

#Dataflow#Apache Beam
200
Dataflow로 컬리의 준실시간 수요 예측모델 파이프라인 구축하기 - 1편
마켓컬리
데브옵스

Dataflow로 컬리의 준실시간 수요 예측모델 파이프라인 구축하기 - 1편

컬리의 준실시간 수요 예측 모델을 위해 Dataflow 파이프라인을 도입한 배경과 전체 동작 방식을 설명했습니다. Beam, Flex 템플릿, CI/CD, 권한 설정 등 실무 적용 포인트도 함께 정리했습니다.

#Dataflow#Apache Beam
1600
우당탕탕~ 영상 서비스 개발기 3탄 : 플레이어 백엔드 서버와 데이터 수집
카카오엔터테인먼트FE
데브옵스

우당탕탕~ 영상 서비스 개발기 3탄 : 플레이어 백엔드 서버와 데이터 수집

영상 플레이어 API의 성능 요구에 맞춰 Cloud Run에서 GKE로 전환하고 SSE를 부하 테스트했습니다. Vector·GCS·Dataflow·BigQuery 기반 로그 수집과 분석 파이프라인을 구축했습니다.

#Go#GCP
200
컬리의 BigQuery 도입기 - 2부
마켓컬리
백엔드

컬리의 BigQuery 도입기 - 2부

BigQuery 기반 CDC 파이프라인으로 정형·비정형 데이터를 Final 테이블에 동기화했습니다. Merge와 리소스 분리로 적재 시간·조회 응답 시간·비용을 개선했습니다.

#BigQuery#Kafka
100
컬리의 BigQuery 도입기 - 2부
마켓컬리
백엔드

컬리의 BigQuery 도입기 - 2부

BigQuery 도입으로 정형·비정형 데이터 파이프라인을 분리해 구축하고, CDC 기반 적재와 Merge Procedure로 원본 정합성을 맞췄습니다. 또한 데이터 레이크하우스화, 쿼리 성능 개선, 비용 절감 효과를 얻었습니다.

#BigQuery#Kafka
3300
컬리의 BigQuery 도입기 - 1부
마켓컬리
백엔드

컬리의 BigQuery 도입기 - 1부

기존 데이터 파이프라인의 지연, 스토리지, 쿼리 경합, 복잡성 문제를 분석했습니다. BigQuery Streaming API와 프로젝트·파티션 분리로 개선 방향을 설계했습니다.

#BigQuery#Kafka
000