AI
AWS Sagemaker Ground Truth로 훈련용 이미지를 편하게 분류하자
두줄요약
훈련 이미지의 중복·손상 파일을 정리하고 수작업 분류 방식들을 비교했습니다. SageMaker Ground Truth로 협업 분류를 검토했지만 높은 과금이 도입 장벽이었습니다.
문제 상황
- 후기 이미지 분류 모델의 추가 훈련을 위한 대량의 레이블 데이터 필요
- 1년 이상 추가 훈련 없이 운영된 모델의 오분류 및 정확도 개선 요구
- 최근 이미지 10만 장 규모에서 로컬 파일 탐색·수작업 분류의 한계
원인 분석
- 상품별 동일 후기 이미지 중복과 업로드 실패 이미지 혼재
- 드래그앤드롭 방식의 높은 처리 효율과 오분류 가능성 공존
- 단일 작업자 중심 분류 방식의 확장성 부족
해결 방법
- SHA-1 해시로 중복 이미지 탐지·삭제, PIL 이미지 로드로 손상 파일 제거
- 기존 분류 모델의 선분류 후 작업자가 검수하는 반 인간지능 방식 활용
- S3 이미지와 매니페스트 파일을 기반으로 SageMaker Ground Truth 프라이빗 작업자 초대·분류 결과 JSON 수집
장단점
- 다수 내부 작업자의 이미지 분류와 진행 상황 관리 지원
- AWS 외주 작업 대비 프라이빗 작업자 활용 가능
- 레이블·객체 수 기준 과금으로 10만 건 분류 시 약 4,000달러 비용 부담
