토스의 속도와 품질, 상용 도구로 충분한가 — 토션(Tossion)

문제 상황

• 자동화 테스트, 매뉴얼 테스트, 테스트 케이스, 판단 근거가 서로 흩어져 과거 결과 확인에 시간이 걸리는 상태
• 상용 TCM의 기능 제약으로 QA 데이터 활용, 기능 개선, 새 요구 반영이 어려운 상황
• 릴리즈별 PR 분류, 테스트 케이스 작성, 회귀 자동화, 결과 취합을 빠르게 이어야 하는 QA 운영 요구

해결 방법

• 테스트 케이스와 테스트 런을 분리하고, 런 생성 시점의 값과 이력을 복사·스냅샷으로 고정해 과거 맥락 보존
• PR 분석, 테스트 케이스 생성, 자동화 코드 생성·실행, 결과 요약을 토션과 에이전트, AI 스킬로 연결
• 규칙 기반 검증과 재분석, 수량 대조, 장애 이력 반영으로 AI 결과의 누락과 부적합을 보정

성능/운영 포인트

• 병렬 분할 분석과 중간 저장으로 대량 PR 처리 중에도 일부 결과를 선반영
• 실기기 러너, 진행 상황 실시간 반영, 스텝 단위 결과와 스크린샷·영상 저장으로 운영 가시성 확보
• 비동기·실시간 협업, 편집 잠금, 자동 갱신으로 다인 QA 작업 충돌 완화

적용해볼 점

• 과거 결과를 원본과 분리해 스냅샷으로 보존하는 데이터 모델 검토
• 상용 도구 대신 조직 요구에 맞는 플랫폼 직접 구축 여부 검토
• AI 생성 결과는 규칙 검사와 재검증, 수동 보완을 함께 두는 운영 방식 참고