컬리의 BigQuery 도입기 - 2부
BigQuery 도입으로 정형·비정형 데이터 파이프라인을 분리해 구축하고, CDC 기반 적재와 Merge Procedure로 원본 정합성을 맞췄습니다. 또한 데이터 레이크하우스화, 쿼리 성능 개선, 비용 절감 효과를 얻었습니다.
#BigQuery#Kafka
3300
국내 IT 기업 기술 블로그 최신 글
새로운 기술 블로그가 추가되었어요
필터 1
안전한 사내 IT 인프라를 위한 프라이빗 클라우드
사내 IT 인프라를 프라이빗 클라우드와 퍼블릭 클라우드로 나누어 소개했습니다. 서버·네트워크·스토리지 구성과 모니터링, 유지보수로 안정성을 높이는 운영 방식을 설명했습니다.
#cloud#server
2300
Loadrunner Cloud의 부하발생기
Loadrunner Cloud의 부하발생기
LoadRunner Cloud의 부하발생기 개념과 Cloud 환경에서의 자동 생성·삭제 방식을 정리했습니다. 또한 On Premise 부하발생기 사용과 hosts 설정 방법도 함께 설명했습니다.
#AWS#Azure
2700
올리브영 데이터 엔지니어링
올리브영은 IDC 기반 ETL·DW 구조를 GCP 기반 데이터 플랫폼으로 확장했습니다.\nAirflow·Spark·BigQuery로 데이터 수집·처리·분석과 로그 수집을 지원합니다.
#ETL#GCP
2300
.png)
오토피디아 2개월 인턴 후기
마케팅 콘텐츠 포스팅의 반복 업무를 Selenium·GCP VM·Docker·Airflow로 자동화했습니다.\nNotion을 CMS 대안으로 활용하고 배포·문서화·사용자 교육까지 경험했습니다.
#Selenium#Docker
1800
데브옵스 플랫폼이 선택한 프로비저닝 도구
반복적인 인프라 수작업과 상태 관리 문제를 해결하기 위해 Terraform을 도입했습니다. 멀티 클라우드 지원과 Terraform Cloud 기반 상태 관리·잠금 기능을 활용했습니다.
#Terraform#AWS
000
쿠팡 파트너스
개발자를 위한 서적을 확인해 보세요
이 게시물은 쿠팡 파트너스 활동의 일환으로, 이에 따른 일정액의 수수료를 제공받습니다.
#개발서적#프로그래밍
Google Cloud SQL 접속하기
Cloud SQL의 Public IP, Bastion Host, Cloud SQL Proxy 기반 접속 방식을 비교했습니다. SSH·IAM·localhost 활용에 따른 보안성과 운영 특성을 정리했습니다.
#Cloud SQL#GCP
3600
![Protect [ Log4J ] for GCP](https://miro.medium.com/v2/resize:fit:728/1*mH6LPqlP3iNn3O53qbqpkw.png)
Protect [ Log4J ] for GCP
GCP 환경에서 Cloud Armor WAF로 Log4j 취약점 대응 규칙을 적용하는 방법을 요약했습니다. gcloud 명령으로 CVE-2021-44228 관련 요청을 403으로 차단합니다.
#Log4j#GCP
2000
VPC Network — Firewall
GKE 기반 GCP 환경의 기본 및 자동 생성 VPC 방화벽 규칙을 점검했습니다. 로드밸런서·master·SQL 접근을 최소 범위로 허용하는 방향을 정리했습니다.
#GCP#GKE
2500
Let’s Encrypt Wildcard SSL Certification with GKE+GCLB
GKE와 GCLB 환경에서 Let’s Encrypt 와일드카드 SSL 인증서를 자동 관리하는 구성을 소개했습니다. Cloud DNS, Secret, CronJob, certbot으로 발급·갱신·로드밸런서 반영 과정을 구성했습니다.
#Let's Encrypt#GKE
2200
![[Drug Discovery]#3 대용량 가상탐색을 위한 계산화학 방법론의 활용과 개선방안](https://miro.medium.com/v2/da:true/resize:fit:1200/1*rV_n6oy_ShoJA_-0QYXwrw.gif)
[Drug Discovery]#3 대용량 가상탐색을 위한 계산화학 방법론의 활용과 개선방안
대용량 Docking 기반 가상탐색의 장점과 정확도·비용 한계를 분석했습니다. 능동학습과 상호작용 기반 점수화로 탐색 효율 개선 방향을 제시했습니다.
#가상탐색#Docking
1400
TensorFlow TPU 학습 101
TensorFlow 2.0에서 XLA와 TPUStrategy로 TPU 학습을 구성하는 과정을 정리했습니다.\nColab·GCP 사용법과 연결 불안정, 과금 관리 시 주의점을 설명합니다.
#TensorFlow#TPU
000