AI
실시간 데이터 검증하기
두줄요약
실시간 이상탐지 모델의 안정성을 위해 입력 데이터 검증 방법을 소개했습니다. JSON Schema, feature 순서 정렬, t-test 기반 Dataset Shift 탐지를 다뤘습니다.
문제 상황
- 제조 공정 변화와 입력 오류로 인한 이상탐지 모델 학습·추론 결과 왜곡
- Python의 Boolean-숫자 암묵적 변환과 동일 shape의 잘못된 feature 순서로 발견하기 어려운 오류
해결 방법
- JSON Schema로 입력 데이터의 타입, 값 범위, 필수 속성 사전 검증
jsonschema패키지의validate를 통한 유효하지 않은 샘플 차단- pandas DataFrame 컬럼 순서를 학습 데이터 기준으로 재배치하는
ColumnAligner적용
구조와 흐름
- 학습 데이터로 표준 feature 순서 저장 후 실시간 입력 데이터에 동일 순서 적용
- 시계열 데이터의 train·validation 분할 시 휴일 등 성격이 다른 구간 제외
- Welch t-test의 p-value로 데이터 분포 변화와 Dataset Shift 판별
주의할 점
- 스키마 검증 없이 음수·누락 속성·잘못된 타입을 처리할 때 후속 결과 왜곡 가능성
- 모델 추론 성공 여부만으로 feature ordering과 데이터 분포 유효성 판단 불가
