목록 보기
Closing the GitHub Actions Monitoring Gap: Observing ARC Runners with an Exporter
데브옵스

Closing the GitHub Actions Monitoring Gap: Observing ARC Runners with an Exporter

당근마켓
당근마켓
2026년 11월 17일

두줄요약

ARC Runner와 GitHub Actions Job의 연결 및 대기 상태를 관측하는 exporter를 구축했습니다. 웹훅·S3 상태 보존·알림으로 대기 지연과 Runner 병목을 탐지했습니다.

문제 상황

  • ARC 내장 메트릭만으로 대기 Job 수, 대기 시간, Job별 Runner Pod 식별 불가
  • GitHub 장애나 Job 요청 급증 시 Queued 상태 원인 파악과 개발자 안내의 어려움

구조와 흐름

  • Collector·Webhook·StateStore의 3개 바이너리 기반 exporter 구성
  • Collector의 EphemeralRunner 상태와 같은 이름의 Runner Pod 매핑
  • Webhook의 workflow_job 이벤트 수신으로 queued·in_progress·completed 상태 추적
  • StateStore의 내부망 배치와 S3 스냅샷 저장으로 Webhook 상태 보존

해결 방법

  • Job·Runner Pod·리포지터리·워크플로 실행 정보를 arc_runner_job_info 메트릭으로 노출
  • 생성 시각 기반 queued 대기 시간 계산과 대기 시간 히스토그램 제공
  • 순서가 보장되지 않는 webhook 이벤트 대응을 위한 단방향 상태 전이와 tombstone 유지

성능/운영 포인트

  • container 리소스 메트릭 조인으로 Job별 CPU·메모리·네트워크 사용량 대시보드 구성
  • 장기 대기 Job 수와 Runner Scale Set의 maxRunners 90% 도달 알림
  • ETag·If-Match 조건부 S3 쓰기로 롤아웃 중 스냅샷 경합 방지

다음 읽기

#GitHub Actions 주제를 이어서 읽기

GitHub Actions 모니터링의 빈칸: Exporter로 ARC Runner 관측하기

ARC Runner와 GitHub Actions Job의 대기·실행 상태를 관측하는 exporter 구조를 소개했습니다. 웹훅 순서 역전, 스냅샷 복원, 이벤트 누락 문제를 재전송과 리컨사일로 개선했습니다.

당근마켓
당근마켓
데브옵스
전체 보기

댓글 0개

댓글을 작성하려면 로그인이 필요합니다.

댓글을 불러오는 중...