하루 187건의 테스트 실패, 사람이 보는 건수는 10건 — LLM이 로그를 읽고 담당까지 정하는 파이프라인 구축기
TV 소프트웨어 자동 테스트에서 쌓이는 대량의 실패 로그를 LLM으로 분석하는 파이프라인을 소개했습니다. 실제 이슈 선별과 담당자 지정을 자동화해 사람 검토 건수를 줄였습니다.
test 태그가 달린 국내 IT 기업 기술 블로그 글을 최신순으로 모았습니다.
최근 30일 7개 · 많이 쓴 회사 토스·데보션·넥스트리
20개 표시
TV 소프트웨어 자동 테스트에서 쌓이는 대량의 실패 로그를 LLM으로 분석하는 파이프라인을 소개했습니다. 실제 이슈 선별과 담당자 지정을 자동화해 사람 검토 건수를 줄였습니다.
서로 다른 벤더의 AI가 구현과 검토를 나누는 weave-agents를 소개했습니다. 의견 충돌은 코드와 테스트로 확인하는 협업 방식을 다뤘습니다.
AI가 만든 테스트에서 검증 없이 통과하는 허수 패턴 8가지를 분석했습니다. 정규식, expect 집계, 장애 주입, 뮤테이션 테스트로 탐지 방법을 제시합니다.
AI 에이전트로 늘어난 코드 변경에 맞춰 QA 외주화 구조를 Quality Platform 방식으로 전환했습니다. 개발자가 테스트·데이터·회귀 검증 도구로 품질과 성능을 직접 확인하도록 지원합니다.

공통 모듈과 DTO, ScenarioContext로 중복된 테스트 코드를 개선했습니다. 사용자 행동 시나리오를 조합해 캐시백 정책을 일괄 검증했습니다.
상태 전이·운영 안내·테스트 참조를 YAML 선언으로 통합하고 CI에서 검증했습니다. 테스트 없는 전이와 잘못된 참조를 빌드 단계에서 차단해 가이드 신뢰성을 높였습니다.

AI 시대 개발자는 에이전트를 관리하며 방향 설정과 배포 책임을 맡게 된다고 설명했습니다. 소통·맥락 수집·검증 체계와 종합적 판단 역량의 중요성을 강조했습니다.
component scan으로 테스트 설정이 자동 등록돼 발생한 빈 충돌을 분석했습니다. 명시적 빈 등록과 컨텍스트 검증으로 에이전트 작업의 예측 가능성을 높였습니다.

AI 작업의 의도와 판단을 히스토리로 남기고 팀 리뷰로 가이드화하는 방식을 소개했습니다. 기계 검증과 사람 중심의 맥락 리뷰를 분리해 AI 협업의 주도권을 지키고자 합니다.
AI 코딩 확대로 테스트 범위 설계와 검증 부담이 커지는 문제를 짚었습니다. Private LLM 기반 QA 에이전트로 조직 지식 기반 테스트 설계를 제안합니다.
누적되는 에이전트 규칙을 재발 빈도와 기간에 따라 관리하는 하네스 GC 방식을 소개했습니다. cold 보존, 개요 제한, 승인 기반 승격과 rollback 절차를 제안합니다.

AI 코드 생성 확산에 맞춰 테스트와 운영 분석까지 자동화하는 AX 개발 흐름을 제안했습니다. 기존 테스트 도구와 AI를 연결해 운영 문제를 테스트로 환류하는 방식을 설명합니다.

가상 COM 포트와 Modbus 도구로 RTU 마스터·슬레이브 통신을 재현했습니다. 통신 파라미터와 주소 설정 일치 여부를 점검하는 방법을 안내합니다.

Spring Boot 4 이행 시 자동 설정 분리와 Jackson 3 전환으로 발생하는 호환성 문제를 정리했습니다. 특히 JSON 직렬화 비교와 컨텍스트 로딩 테스트를 사전 안전장치로 권장했습니다.

LLM 기능을 단순 연결하는 대신 Workflow Loop와 Domain Adapter로 판단과 실행 책임을 분리했습니다. 사용자 Interaction과 스냅샷 승인까지 구조화해 Agentic Workflow의 재개와 검증을 안정화했습니다.

매주 반복되던 스모크 테스트를 자동화하고, 실패 원인 분석과 복구까지 맡기는 토스닥터 V2를 소개했습니다. 사람은 검증할 대상과 자동화 범위 설계에 더 집중할 수 있게 됐습니다.

미리캔버스 모노레포에서 테스트 수가 늘며 CI가 16분까지 느려졌습니다. 테스트 실행 구조를 개선해 CI 시간을 3분 수준으로 줄였습니다.
코드 작성 직후와 종료 직전에 규칙을 다시 주입하는 Stylepack으로 Coding Agent의 컨벤션 준수를 높인 사례를 다뤘습니다. 반복 리뷰 코멘트를 규칙화하고, 모양으로 잡히는 문제와 런타임 문제를 나눠 대응했습니다.

AI 에이전트가 스스로 수정하려면 먼저 테스트 결과를 믿을 수 있어야 했습니다. 그래서 테스트 격리와 실행 경로 통일로 오염과 환경 차이를 줄였습니다.

무신사 Retail Platform QA팀의 회귀 테스트 자동화 여정을 다뤘습니다. Playwright, Slack 봇, AI 기반 TC 생성기로 테스트 시간을 크게 줄인 사례입니다.