AI
현관문에도 얼굴이 있다: 배송 완료 사진 기반 On-device 오배송 탐지 시스템
두줄요약
배송 완료 사진 임베딩의 거리 비교로 오배송을 탐지하는 장소 재인식 시스템을 구축했습니다. ONNX 기반 온디바이스 추론과 배치 임베딩 적재로 실시간성과 운영 효율을 확보했습니다.
문제 상황
- 낮은 발생 비율에도 비용과 고객 경험 영향이 큰 배송 오배송
- 촬영 제약 없는 배송 완료 사진의 저품질·비정상 데이터
해결 방법
- 정상·비정상 이진 분류 모델로 배송 무관 피사체와 흔들린 사진 선필터링
- Centroid Triplet Loss 대조 학습과 밝기·조도 증강 기반 장소 재인식 인코더
- 주소별 갤러리 임베딩 중심점과 신규 사진 임베딩의 유클리디안 거리 임계값 비교
구조와 흐름
- Airflow 일배치로 정상 사진 임베딩과 메타데이터를 AWS DocumentDB에 적재
- API 서버의 주소별 갤러리 조회·중심점 계산 후 모바일 앱 전달
- End-to-End ONNX 모델 기반 단말 내 Query Embedding 추출 및 즉시 거리 판별
성능/운영 포인트
- 미학습 주소지 테스트에서 임계값 18.0 기준 Accuracy·Precision·Recall·F1 99.95% 이상
- 주소당 최신 20개 이력과 중심점 비교로 저장 공간·연산량 절감
- 단말 직접 알림의 Precision 우선, Slack 검수 알림의 Recall 우선 임계값 이원화
