빠르고 안정적인 앱 배포의 노하우(1) - Smoke Testing
아키텍처
빠르고 안정적인 앱 배포의 노하우(1) - Smoke Testing
두줄요약
긴 회귀 테스트의 생산성 저하를 해결하기 위해 핵심 기능 중심의 Smoke Testing을 도입했습니다.\n10~20분 내 테스트로 배포 부담을 낮추고 기민한 대응과 안정성을 함께 추구했습니다.
문제 상황
- 회귀 테스트 케이스 축적으로 인한 긴 테스트 시간과 빠른 출시 주기의 충돌
- 작은 수정·긴급 배포 시 테스트 생략과 배포 절차 우회 위험
- 사소한 회귀 오류 대응에 따른 테스트·수정 담당자의 피로 누적
선택 이유
- 기능 추가와 개선이 잦고 완전한 안정화 이전인 제품 특성상 회귀 테스트 효율 저하
- 치명적 기능의 장애 방지와 사소한 결함의 신속한 감지·대응에 초점
- 2시간 이내 소요, 자동화 지향, 개발자 주도 배포를 목표로 한 테스트 방식 재검토
구조와 흐름
- 전체 기능 나열 후 비정상 동작 시 치명적인 기능 선별
- 선별 기능의 테스트 방법 정리, 팀 실습과 회고를 통한 소요 시간·신뢰도 점검
- 누구나 수행 가능하고 10분 이내 완료 가능한 Smoke Testing 구성
성능/운영 포인트
- 회귀 테스트 중단 후 짧은 Smoke Testing 기반 배포 절차 전환
- 테스트 부담과 결과물 수신 스트레스 감소, 개인 주도 테스트로 불필요한 절차 제거
- 체감 신뢰도 65%에서 85%로 향상, 도입 이후 치명적 장애 미발생 경험
