
AWS에서 Laya를 통한 Decision Model 학습 및 배포 환경 구성하기
두줄요약
Laya를 SageMaker에서 학습·배포해 한국어 개인정보를 확률 기반으로 판정하는 구성을 설명했습니다. 데이터 설계, 운영 규칙, 성능 비교와 재학습 시 유의점을 함께 정리했습니다.
문제 상황
- 생성형 LLM 기반 반복 판단의 지연·토큰 비용·JSON 파싱 불안정성
- 한국어 개인정보 필터링에서 데이터 반출 제한과 도메인 맞춤 재학습 요구
구조와 흐름
- Laya 질문 스키마와 합성 데이터·KDPII 기반 JSON Lines 학습 행 구성
- SageMaker 자체 컨테이너의 train·serve 명령으로 추가 학습과 실시간 엔드포인트 통합
- 호출 측 확률 기반 ALLOW·BLOCK·REVIEW 결정 및 인증정보 정규식 보조 규칙
성능/운영 포인트
- T4 GPU 1장 기반 판정 지연 약 35~39ms와 입력 배치 처리
- 학습 질문 파일과 서빙 질문 파일 일치, GPU 폴백·입력 절단·확률 임계값 모니터링
- UpdateEndpoint 기반 무중단 교체와 이전 엔드포인트 구성 롤백
트레이드오프
- 재학습 가능한 소형 모델의 고정 인스턴스 비용·계정 내 데이터 처리 장점
- 텍스트 생성·스팬 마스킹 불가, 학습 범위 밖 입력의 규칙 보완과 실제 분포 검증 필요




