안전은 기본, 비용 절감은 덤: 별도 가드레일이 필요한 이유

문제 상황

• 시스템 프롬프트에 안전 규칙을 몰아넣으면 프롬프트 인젝션·탈옥에 취약해지는 문제
• 안전 문구가 길어질수록 정상 요청까지 과하게 거절하고, 위치·순서·표현 변화에도 성능이 흔들리는 문제
• 거절 근거 로깅과 모델 교체, 정책 변경 대응이 어려워 운영·감사 측면의 불리함

원인 분석

• 하나의 긴 시스템 프롬프트가 안전, 스타일, 형식, 역할 지시를 모두 떠안으며 규칙 우선순위가 불안정해지는 구조
• 입력 길이 증가와 프롬프트 미세 변경이 모델의 판단 경로를 크게 흔드는 민감성
• 안전 판단과 서비스 추론이 한 컴포넌트에 결합돼 비용, 지연, 재현성 문제가 함께 발생

해결 방법

• 서비스용 LLM과 분리된 외부 가드레일을 앞뒤에 두어 입력 차단, 재작성, 출력 검증 수행
• 소형 모델·룰 기반 필터로 정책 위반만 먼저 걸러 고가 모델 호출과 토큰 사용량을 절감
• PII 탐지, 스키마 검증, 팩트 체크, 환각 감지 등은 별도 가드레일과 하이브리드 로직으로 처리