DevLake를 활용한 DORA Metrics 지표 수집 및 시각화 도입기

핵심 내용

• CI/CD 자동화 성과를 객관적으로 확인하기 위해 DevLake로 Jira와 GitHub 데이터를 수집해 DORA Metrics를 산출하고 Grafana로 시각화한 도입 사례
• 오픈소스, Grafana 연동, GitHub·Jira 통합, EKS 운영 환경 적합성을 기준으로 Apache DevLake를 선택하고 Helm으로 구성
• 프로젝트 단위 수집, GitHub Actions 배포 기준, Jira Incident 분류, 수집 주기 설정 후 대시보드로 지표 확인

문제 상황

• 기본 Domain Layer에 Jira 커스텀 필드가 없어 서비스 단위 Incident 필터링이 어려움
• 기본 DORA 쿼리가 내부 운영 기준과 맞지 않아 Change Failure Rate와 Failed Deployment Recovery Time 재정의 필요

해결 방법

• Raw Layer에서 커스텀 필드 존재를 확인한 뒤 Customize 기능으로 Domain Layer의 사용자 정의 컬럼에 매핑
• Incident 건수 기준으로 Change Failure Rate를 재계산하고, 복구 시간은 문제 인식 시점부터 완료 시점까지로 재정의
• GitHub Action의 운영 배포 판별 정규식과 Jira Issue Category 매핑을 내부 기준에 맞게 조정