Google Cloud Next’23 참관기
Google Cloud Next’23 오프라인 참관기를 통해 Generative AI와 Duet AI의 흐름을 소개했습니다. BigQuery와 데이터 업무에서의 활용 가능성에 큰 기대를 전했습니다.
#GCP#BigQuery
2600
국내 IT 기업 기술 블로그 최신 글
새로운 기술 블로그가 추가되었어요
필터 1
Kubernetes-native 로그 플랫폼
Kubernetes 환경에 맞춰 로그 플랫폼을 다시 설계해 서비스 통합 비용을 줄였습니다. 로그 성격별 파이프라인 분리와 다양한 저장 형식 지원으로 확장성과 운영 효율도 높였습니다.
#Kubernetes#MSA
3600
이벤트 로그 체계 구축 여정
기존 Firebase 이벤트 로그의 부족한 데이터, 분리된 문서, 디버깅 어려움을 해결하기 위해 새 로그 체계를 설계했습니다. 구글 시트와 Redash를 활용해 문서화, 검증, 운영을 한 흐름으로 묶었습니다.
#Firebase#BigQuery
2600
BigQuery의 물리적 스토리지 비용을 확 줄일 수 있다!
BigQuery Compressed Storage의 GA 예정 소식을 통해 물리적 스토리지 비용 절감 가능성을 소개했습니다. 기존 BigQuery 비용 구조를 더 효율적으로 바꿀 수 있는 점에 주목했습니다.
#BigQuery
1400
비용과 응답시간 두마리 토끼를 잡는 방법! BigQuery Autoscaler
BigQuery Autoscaler를 소개하며 분석 워크로드 증가에 맞춰 컴퓨팅 자원을 자동 확장하는 방법을 다뤘습니다. 비용과 응답시간을 함께 고려하는 활용 방향을 설명했습니다.
#BigQuery
1500
빅쿼리(BigQuery)의 가성비를 높이는 법
빅쿼리의 비용 효율을 높이는 방법을 다루는 글입니다. 데이터 플랫폼 구축에서 클라우드 환경의 가성비 문제를 짚습니다.
#BigQuery#GCP
1700
쿠팡 파트너스
개발자를 위한 서적을 확인해 보세요
이 게시물은 쿠팡 파트너스 활동의 일환으로, 이에 따른 일정액의 수수료를 제공받습니다.
#개발서적#프로그래밍
Dataflow로 컬리의 준실시간 수요 예측모델 파이프라인 구축하기 - 1편
준실시간 수요예측을 위해 Apache Beam 기반 GCP Dataflow 파이프라인을 도입한 배경과 동작 구조를 설명했습니다. Flex 템플릿·CI/CD 배포 과정과 스트리밍, 권한, 비용 관련 운영 팁을 정리했습니다.
#Dataflow#Apache Beam
000
Dataflow로 컬리의 준실시간 수요 예측모델 파이프라인 구축하기 - 1편
컬리의 준실시간 수요 예측 모델을 위해 Dataflow 파이프라인을 도입한 배경과 전체 동작 방식을 설명했습니다. Beam, Flex 템플릿, CI/CD, 권한 설정 등 실무 적용 포인트도 함께 정리했습니다.
#Dataflow#Apache Beam
1500
우당탕탕~ 영상 서비스 개발기 3탄 : 플레이어 백엔드 서버와 데이터 수집
영상 플레이어 API의 성능 요구에 맞춰 Cloud Run에서 GKE로 전환하고 SSE를 부하 테스트했습니다.\nVector·GCS·Dataflow·BigQuery 기반 로그 수집과 분석 파이프라인을 구축했습니다.
#Go#GCP
000
컬리의 BigQuery 도입기 - 2부
BigQuery 기반 CDC 파이프라인으로 정형·비정형 데이터를 Final 테이블에 동기화했습니다.\nMerge와 리소스 분리로 적재 시간·조회 응답 시간·비용을 개선했습니다.
#BigQuery#Kafka
000
컬리의 BigQuery 도입기 - 2부
BigQuery 도입으로 정형·비정형 데이터 파이프라인을 분리해 구축하고, CDC 기반 적재와 Merge Procedure로 원본 정합성을 맞췄습니다. 또한 데이터 레이크하우스화, 쿼리 성능 개선, 비용 절감 효과를 얻었습니다.
#BigQuery#Kafka
3300
컬리의 BigQuery 도입기 - 1부
기존 데이터 파이프라인의 지연, 스토리지, 쿼리 경합, 복잡성 문제를 분석했습니다. BigQuery Streaming API와 프로젝트·파티션 분리로 개선 방향을 설계했습니다.
#BigQuery#Kafka
000
컬리의 BigQuery 도입기 - 1부
기존 데이터 파이프라인의 지연과 복잡성을 줄이기 위해 컬리가 BigQuery 도입 배경과 주안점을 정리했습니다. 스트리밍 적재, 파티션 관리, 프로젝트 분리로 성능과 비용을 함께 고려했습니다.
#BigQuery#Kafka
4200
노코드 자동화 툴로 일잘러 데이터 분석가 되기
Zapier와 Integromat(Make)으로 데이터 분석 업무의 반복 작업을 자동화하는 방법을 소개했습니다. 단순 워크플로는 Zapier, 반복·복합 조건은 Integromat으로 구현하는 사례를 비교했습니다.
#자동화#Zapier
000