SHAP

핵심 내용

• SHAP의 기반인 Shapley Value를 공정한 공헌도 분배 문제로 설명
• 전체 순열에서 한 참여자의 한계 기여를 평균해 공헌도를 구하는 원리 정리
• SHAP을 모델 입력 특징의 기여도로 대응해 해석하는 방식 제시

구조와 흐름

• 모든 특징을 순열로 배치하며 앞선 특징 집합 대비 출력 변화량을 공헌도로 계산
• 무입력 상태의 기준값과 각 특징의 기여값으로 모델 출력을 분해하는 관점 정리
• 배경 데이터, 마스커, permutation explainer를 통한 실무 계산 흐름 설명

주의할 점

• 순열 완전 계산은 조합 폭증으로 현실적으로 어려워 샘플링 추정이 필요
• 조건부 비입력값 구성은 데이터 희소성 때문에 비현실적 입력을 만들 수 있음
• 상관이 큰 특징이나 고차원 임베딩은 묶어서 계산하는 편이 효율적

적용해볼 점

• Tabular 데이터에서는 Permutation Explainer와 Background Dataset 구성을 함께 검토
• 특정 특징 비입력 처리는 Custom Masker로 조정
• 구조를 아는 모델이면 model-agnostic 방식보다 구조 활용 방법을 우선 검토