Airflow Task failed Alert Mail 폭탄 회피하기
Airflow에서 동일 원인으로 반복 발송되는 Task 실패 알림을 하나로 통합하는 방법을 다루었습니다. DAG run의 Task Instance와 로그를 활용해 중복 메일 노이즈를 줄이는 구현을 소개했습니다.
#Airflow#ETL
3400
데브옵스 기술 블로그 최신 글
필터 0
AWS re:Invent 2023 후기 (2)
AWS re:Invent 2023 현장 참여 후기를 공유했습니다. 세션, EXPO, 신규 AWS 발표와 네트워킹 경험을 함께 정리했습니다.
#AWS#Amazon Bedrock
1900
AWS re:Invent 2023 후기
AWS re:Invent 2023 현지 참석 경험과 행사 운영 방식을 소개했습니다. AI/ML 중심 흐름과 클라우드 비용 최적화 관점을 인상적으로 정리했습니다.
#AWS#cloud
2100
Release PR만들어질때, Jira 이슈에 배포 버전 자동으로 추가하기(feat. GitHub Action)
Release PR에서 커밋의 Jira 이슈를 찾아 fix versions를 자동 추가하는 GitHub Action을 소개했습니다. 수동 버전 관리 부담을 줄이고, 실패 이슈는 출력값과 댓글로 확인할 수 있습니다.
#GitHub Actions#Jira
5300
사이트 신뢰성에 대한 지표는 어떻게 구성할까? (Feat. SRE)
서비스 전반의 모니터링과 별개로, 사이트 신뢰성을 위한 서비스 레벨 지표와 목표 범위를 고민한 글입니다. SRE 관점에서 Request 기준의 신뢰성 측정 체계를 구성하려는 방향을 다뤘습니다.
#SRE#모니터링
3700
Airflow 환경 Docker compose로 containerization하기
Airflow 개발 환경을 Docker compose로 컨테이너화해 배포와 유사한 상태에서 실행·디버깅할 수 있게 구성했습니다. PyCharm 연동, Executor 분리, 설정 통합으로 개발 생산성과 관리 편의도 높였습니다.
#Airflow#Docker
3100
우분투 20 이상이 설치된 라즈베리파이 4에 raspi-config 설치 및 카메라 설정하기
우분투 20 이상이 설치된 라즈베리파이 4에 raspi-config 설치 및 카메라 설정하기
우분투 20 이상이 설치된 라즈베리파이 4에서 raspi-config와 카메라 설정 방법을 정리했습니다. bcm2711-rpi-4-b.dtb 오류 대응과 카메라 인식 확인 절차를 함께 다뤘습니다.
#Ubuntu#Raspberry Pi
500
AWX를 이용한 CI/CD Pipeline: Pylon
AWX를 이용해 CI/CD 파이프라인을 구성하고 레거시 배포 환경을 개선한 사례를 소개했습니다. 카카오페이의 배포 운영 맥락에서 적용 내용을 간단히 정리했습니다.
#CI/CD#AWX
1300
후기 서비스 AWS Opensearch 도입기
후기 서비스의 조회 병목을 해결하기 위해 AWS Opensearch를 도입한 사례를 정리했습니다. CQRS와 이벤트 기반 구조로 전환하고 성능 테스트와 모니터링까지 함께 적용했습니다.
#OpenSearch#검색
3900
백엔드팀에서 GitHub Actions를 사용하는 방법
GitHub Actions로 백엔드팀의 일부 CI/CD를 자동화하고, Reusable workflow와 Composite action으로 공통 작업을 재사용했습니다. 또한 캐시와 Marketplace 액션을 활용해 배포 편의성과 운영 효율을 높였습니다.
#GitHub Actions#CI/CD
3300
CI 소요시간을 최대 4.6배 개선하는 방법
pnpm 전역 캐시와 Turborepo Remote Cache로 모노레포 CI 시간을 최적화했습니다. 캐시 적중 기준 의존성 설치와 빌드를 크게 줄여 전체 CI를 최대 79% 개선했습니다.
#CI/CD#Jenkins
200
AWS Node Auto Scaler Karpenter 도입기
Karpenter로 Cluster Autoscaler를 교체해 스파크성 트래픽에서 노드 증설 속도를 개선했습니다. 또한 노드 병합과 스팟 운영을 통해 비용 절감과 운영 안정성을 함께 확보했습니다.
#AWS#Kubernetes
600
AWS Node Auto Scaler Karpenter 도입기
AWS Node Auto Scaler Karpenter 도입기
Karpenter를 도입해 EKS 노드 확장 속도를 높이고 비용 최적화를 시도했습니다. 스파크성 트래픽과 Spot 운영 이슈를 보완하며 안정성과 효율을 함께 개선했습니다.
#AWS#Kubernetes
3900
인프런이 자동으로 자막을 생성하기까지 (AI/인프라 편)
WhisperX와 AWS Batch GPU 인프라로 오프라인 강의 자막 생성 파이프라인을 구축했습니다. 자막 가독성을 개선하고 Spot Instance로 대량 처리 비용을 낮췄습니다.
#WhisperX#AWS Batch
200