목록 보기
GitHub Actions 모니터링의 빈칸: Exporter로 ARC Runner 관측하기
데브옵스

GitHub Actions 모니터링의 빈칸: Exporter로 ARC Runner 관측하기

당근마켓
당근마켓
2026년 11월 17일

두줄요약

ARC Runner와 GitHub Actions Job의 대기·실행 상태를 관측하는 exporter 구조를 소개했습니다. 웹훅 순서 역전, 스냅샷 복원, 이벤트 누락 문제를 재전송과 리컨사일로 개선했습니다.

문제 상황

  • ARC 기반 self-hosted Runner 환경에서 Queued Job 수·대기 시간·Job과 Runner Pod의 연결 정보 부족
  • GitHub 장애, Job 급증, Runner Scale Set 설정 병목 발생 시 원인 파악과 상태 안내의 어려움

구조와 흐름

  • EphemeralRunner status와 동일한 Pod 이름을 연결해 Job 정보를 제공하는 Collector
  • workflow_job 웹훅으로 queued·in_progress 상태와 대기 시간 히스토그램을 집계하는 Webhook
  • 사내망 StateStore의 S3 스냅샷 저장·복원과 GitHub App 기반 이벤트 재전송·상태 리컨사일

성능/운영 포인트

  • 장기 대기 Job 수와 maxRunners 90% 도달 알림을 통한 대기열·용량 병목 감시
  • 진행 Job·tombstone·Delivery ID·스냅샷의 보관 기간 분리로 스냅샷 크기와 오래된 상태 복원 문제 완화
  • 조건부 S3 쓰기로 롤아웃 중 동시 실행 Pod의 스냅샷 덮어쓰기 방지

주의할 점

  • Collector 메트릭의 Job은 실행 중 Job이 아닌 Runner가 배정받은 Job 기준
  • 순서가 보장되지 않는 웹훅 이벤트 대응을 위한 단방향 상태 전이, tombstone, Delivery ID 중복 제거
  • GitHub 웹훅 지연·누락 대응을 위한 재전송과 API 리컨사일, rate limit 기반 조회량 제한

다음 읽기

#GitHub Actions 주제를 이어서 읽기

Closing the GitHub Actions Monitoring Gap: Observing ARC Runners with an Exporter

ARC Runner와 GitHub Actions Job의 연결 및 대기 상태를 관측하는 exporter를 구축했습니다. 웹훅·S3 상태 보존·알림으로 대기 지연과 Runner 병목을 탐지했습니다.

당근마켓
당근마켓
데브옵스
전체 보기

댓글 0개

댓글을 작성하려면 로그인이 필요합니다.

댓글을 불러오는 중...