백엔드
1:1 비디오 채팅 서비스는 E2E 회귀 테스트를 어떻게 자동화할까?
두줄요약
1:1 비디오 채팅의 회귀 테스트를 두 개의 driver와 pytest hook, segment, 병렬 실행으로 자동화했습니다. 이를 통해 매칭 간섭을 줄이고 실행 시간을 크게 단축하며 QA 반복 업무를 줄였습니다.
문제 상황
- 1:1 비디오 채팅 서비스의 회귀 테스트를 일반적인 단일 드라이버 자동화로는 처리하기 어려운 상황
- 랜덤 매칭 구조, 크로스 플랫폼 조합, 테스트 간 매칭 간섭, 긴 실행 시간 같은 제약
- 플랫폼별 UI 차이와 상호 의존적인 테스트 스텝으로 인한 유지보수 부담
해결 방법
- pytest hook과 커맨드라인 옵션으로 플랫폼 조합을 그룹화해 실행 파라미터 제어
- 두 개의 driver를 생성해 main/peer 상호작용을 자동화하고, 필요한 조합만 선택 실행
- segment 기능으로 테스트 계정 매칭 범위를 제한하고, ThreadPoolExecutor로 독립 스텝 병렬 실행
- Page Object Model과 interface를 사용해 플랫폼별 구현 차이를 숨기고 동일한 테스트 코드 유지
성능/운영 포인트
- 플랫폼 조합별 병렬 실행과 스킵 처리로 불필요한 테스트 제거
- 테스트 간 간섭 방지로 실패 원인 감소
- 전체 회귀 테스트를 야간 무인 실행으로 전환해 QA의 반복 업무 축소