Closing the GitHub Actions Monitoring Gap: Observing ARC Runners with an Exporter
두줄요약
ARC Runner와 GitHub Actions Job의 연결 및 대기 상태를 관측하는 exporter를 구축했습니다. 웹훅·S3 상태 보존·알림으로 대기 지연과 Runner 병목을 탐지했습니다.
문제 상황
- ARC 내장 메트릭만으로 대기 Job 수, 대기 시간, Job별 Runner Pod 식별 불가
- GitHub 장애나 Job 요청 급증 시 Queued 상태 원인 파악과 개발자 안내의 어려움
구조와 흐름
- Collector·Webhook·StateStore의 3개 바이너리 기반 exporter 구성
- Collector의 EphemeralRunner 상태와 같은 이름의 Runner Pod 매핑
- Webhook의 workflow_job 이벤트 수신으로 queued·in_progress·completed 상태 추적
- StateStore의 내부망 배치와 S3 스냅샷 저장으로 Webhook 상태 보존
해결 방법
- Job·Runner Pod·리포지터리·워크플로 실행 정보를
arc_runner_job_info메트릭으로 노출 - 생성 시각 기반 queued 대기 시간 계산과 대기 시간 히스토그램 제공
- 순서가 보장되지 않는 webhook 이벤트 대응을 위한 단방향 상태 전이와 tombstone 유지
성능/운영 포인트
- container 리소스 메트릭 조인으로 Job별 CPU·메모리·네트워크 사용량 대시보드 구성
- 장기 대기 Job 수와 Runner Scale Set의 maxRunners 90% 도달 알림
- ETag·If-Match 조건부 S3 쓰기로 롤아웃 중 스냅샷 경합 방지



