AI
AWS Sagemaker Ground Truth로 훈련용 이미지를 편하게 분류하자
두줄요약
후기 이미지 분류 모델 재훈련을 위해 이미지 정제와 수작업 라벨링 방식을 비교했습니다. SageMaker Ground Truth의 협업 장점과 대규모 작업 비용 부담을 검토했습니다.
문제 상황
- 후기 이미지 분류 모델의 추가 훈련을 위한 대규모 라벨링 데이터 필요
- 중복 이미지, 손상 이미지, 10만 장 규모 파일 관리로 로컬 수작업 한계
해결 방법
- SHA-1 해시 기반 중복 이미지 제거와 PIL 로딩 기반 손상 이미지 검증
- 드래그앤드롭, 단건 분류, 기존 모델 선분류 후 검수 방식 비교
- S3 이미지와 매니페스트 파일을 활용한 SageMaker Ground Truth 이미지 분류 작업 검토
장단점
- 프라이빗 워크포스 초대, 작업 화면 설정, 진행 상황 확인, JSON 결과 출력 지원
- 다수 작업자 병렬 분류로 기존 단일 작업 방식의 한계 완화
- 레이블 객체 수 기준 과금으로 10만 장 작업 시 높은 비용 부담
적용해볼 점
- 기존 분류 모델을 활용한 선분류·검수로 사람의 라벨링 부담 축소
- 대규모 라벨링 전 Ground Truth 요금과 내부 수작업 비용의 사전 비교
