GitHub Actions 모니터링의 빈칸: Exporter로 ARC Runner 관측하기
두줄요약
ARC Runner와 GitHub Actions Job의 대기·실행 상태를 관측하는 exporter 구조를 소개했습니다. 웹훅 순서 역전, 스냅샷 복원, 이벤트 누락 문제를 재전송과 리컨사일로 개선했습니다.
문제 상황
- ARC 기반 self-hosted Runner 환경에서 Queued Job 수·대기 시간·Job과 Runner Pod의 연결 정보 부족
- GitHub 장애, Job 급증, Runner Scale Set 설정 병목 발생 시 원인 파악과 상태 안내의 어려움
구조와 흐름
- EphemeralRunner status와 동일한 Pod 이름을 연결해 Job 정보를 제공하는 Collector
- workflow_job 웹훅으로 queued·in_progress 상태와 대기 시간 히스토그램을 집계하는 Webhook
- 사내망 StateStore의 S3 스냅샷 저장·복원과 GitHub App 기반 이벤트 재전송·상태 리컨사일
성능/운영 포인트
- 장기 대기 Job 수와 maxRunners 90% 도달 알림을 통한 대기열·용량 병목 감시
- 진행 Job·tombstone·Delivery ID·스냅샷의 보관 기간 분리로 스냅샷 크기와 오래된 상태 복원 문제 완화
- 조건부 S3 쓰기로 롤아웃 중 동시 실행 Pod의 스냅샷 덮어쓰기 방지
주의할 점
- Collector 메트릭의 Job은 실행 중 Job이 아닌 Runner가 배정받은 Job 기준
- 순서가 보장되지 않는 웹훅 이벤트 대응을 위한 단방향 상태 전이, tombstone, Delivery ID 중복 제거
- GitHub 웹훅 지연·누락 대응을 위한 재전송과 API 리컨사일, rate limit 기반 조회량 제한


