ICML 2020 논문 소개 - 딥러닝 이론 연구
AI
ICML 2020 논문 소개 - 딥러닝 이론 연구
두줄요약
ICML 2020 논문으로 범주형 확률에 베이지안 관점을 적용한 분류 학습 방법을 소개했습니다. 오버 컨피던스를 줄이고 예측 불확실성을 더 잘 표현하며 분류 성능도 향상시켰습니다.
핵심 내용
- ICML 2020 논문 ‘Being Bayesian about Categorical Probability’ 소개
- 분류 문제에서 오답에 대한 과한 확신, 즉 오버 컨피던스 완화 목표
- 범주형 확률을 확률변수로 두고 디리클레 분포 기반 belief matching framework 적용
구조와 흐름
- 라벨 생성 시 베이지안 관점 도입과 사전분포 스무딩으로 극단적 one-hot 타깃 완화
- 신경망이 예측한 디리클레 분포와 타깃 분포의 KL divergence를 ELBO로 최소화
성능/운영 포인트
- 이미지 분류 벤치마크에서 softmax cross-entropy 대비 성능 향상
- confidence와 accuracy 정합성 개선 및 ECE 향상
- out-of-distribution 샘플에서 높은 불확실성 표현
적용해볼 점
- 분류 모델의 과신 완화와 불확실성 추정이 필요한 문제에 활용 가능
- 큰 모델과 대규모 데이터셋에도 확장 가능성 확인