데브옵스
CI 빌드 오류의 원인 분석에서 해결까지의 여정
두줄요약
Jenkins CI에서 빌드 실패가 급증한 원인을 로그 처리 병목으로 좁혀 분석했습니다. Gradle 로그를 줄여 타임아웃 문제를 해결하고 수행 시간도 단축했습니다.
문제 상황
- Jenkins 기반 CI/CD에서 특정 빌드 실패 알림이 급증하고, 재실행이나 타임아웃 증가로도 해결되지 않는 상태
- 업무 시간대에 실패율이 80% 수준까지 올라가며 개발 전반에 영향
원인 분석
- Gradle 데몬 종료처럼 보였지만, Develocity와 Jenkins 로그의 타임스탬프가 크게 어긋나는 이상 징후 확인
- 빌드 로그 양이 과거 대비 크게 증가해 Logstash와 로그 전달 경로에 부하가 걸린 상황
- 서브프로젝트 수 증가와 각종 경고·테스트 로그 누적으로 출력량이 1.2MB 수준까지 확대
해결 방법
- Gradle 로그 레벨을
-q로 낮춰 불필요한 정보를 줄이고 오류 중심으로 출력 전환 - 빌드 스캔 URL은 별도 출력되도록 빌드 스크립트 수정
- 로그량 감소 후 Jenkins 빌드 수행 시간 단축과 타임아웃 문제 해소 확인