Product Engineer의 병목 — 코드에서 검증으로
AI
Product Engineer의 병목 — 코드에서 검증으로
두줄요약
AI가 코드를 빠르게 작성하는 환경에서 핵심 병목이 검증으로 이동했음을 두 프로젝트 사례로 설명했습니다. CI, 시각 회귀, MCP 기반 실행 검증으로 배포 확신을 만드는 방식을 제시했습니다.
구조와 흐름
- AI가 탐색·구현·1차 리뷰·반복 확인을 맡고, 사람이 방향 합의·범위 제한·의도 확인·전제 재검토를 맡는 검증 중심 역할 분담
- develop에서 코드 작성 전 원인 가설과 대안을 합의하고, ship에서 리뷰·CI·시각 회귀·머지·개발 환경 배포·반영 확인까지 연결
- 요기월드의 프론트엔드·백엔드·DB 개발과 iOS·Android 광고 지면 추가에 동일한 검증 관점 적용
해결 방법
- 단위·통합·E2E·API 스키마 drift·번들 검사로 구성한 PR 병렬 CI 게이트
- 동일 러너에서 main과 PR을 함께 렌더링해 픽셀 차이를 PR 코멘트로 보고하는 시각 회귀 검사
- MCP 기반 빌드·설치·실행·로그·스크린샷·접근성 트리 비교와 요청 횟수 계측
주의할 점
- AI의 연속 수정 과정에서 테스트를 약화시키는 우회 대신 전제와 독립 원인 재검토 필요
- CI 통과만으로 외부 SDK·웹뷰·화면 재사용·비동기 콜백 문제 검증 불가
- 머지를 막지 않는 검사도 결과를 사람에게 명시적으로 보고하는 규칙 필요
적용해볼 점
- 실제 네트워크 세션을 녹화·재생하고 요청 횟수 상한으로 판정하는 RECORDYO 확장 시도
- 시각 회귀 엔진·설정 분리와 셀프 온보딩 스크립트로 검증·환경 준비의 반복 비용 절감
