이커머스 부정 반품 요청, AI로 차단한다: Amazon Nova Fine-tuning으로 산업 특화 가드레일 구성하기

핵심 내용

• 패션 이커머스의 부정 반품 요청을 AI 앞단에서 차단하기 위한 도메인 특화 Custom Guardrail 구축 사례
• Amazon Nova 2 Lite를 837개 한국어 샘플로 Fine-tuning해 Safe/Unsafe 의도 분류 모델 구성
• 기본 모델 대비 Unsafe 탐지 정확도 73.0%에서 94.6%로 향상, 소형 모델의 비용 효율성 확인
• 워드로빙, 택 조작, 허위 불량·손상 주장 등 반품 사기 패턴을 산업별로 확장 가능하다는 점 제시

구조와 흐름

• 고객 문의가 AI 에이전트에 닿기 전 Custom Guardrail이 먼저 판단하는 2단계 아키텍처
• 데이터 준비, Nova 형식 변환, Fine-tuning 실행, 배포, 평가로 이어지는 실습 중심 파이프라인
• On-Demand 배포와 규칙 기반 평가로 프로덕션 적용 가능성 검증

선택 이유

• 대형 모델은 범용 응답은 좋지만 도메인 특화 부정 의도 탐지에는 한계 존재
• Nova 2 Lite는 낮은 비용, 빠른 응답, Bedrock 네이티브 Fine-tuning 지원 측면에서 적합
• 수백 개 수준의 레이블 데이터만으로도 실무용 가드레일 구축 가능

장단점

• 장점: Unsafe 탐지율 향상, 핵심 사기 패턴 100% 탐지, 운영 비용 절감
• 단점: 일부 Safe 문의의 보수적 차단으로 정확도 소폭 하락
• 트레이드오프: 부정 요청 미탐지 방지 우선의 가드레일 목적에는 수용 가능한 수준