정규화 정리1 - Scaling, Regularization, Standardization

핵심 내용

• Scaling, Standardization, Regularization의 범위·목적·용어 혼용 정리
• 포괄적 용어인 Normalization 사용 대신 구체적 기법명 사용 권장

구조와 흐름

• Scaling: 변수 단위 차이 완화, 경사 하강법 수렴 및 활성 함수 saturation 대응
• Standardization: 평균 0·표준편차 1 변환을 통한 비교·분석 및 모델 입력 조건 대응
• Regularization: 가중치 제약으로 학습 데이터 민감도와 과적합 위험 완화

선택 이유

• Min-Max와 Max-Abs: 데이터 비율을 유지한 범위 조정
• Robust: 중앙값·IQR 기반 아웃라이어 영향 완화
• Ridge·Lasso·Elastic Net: L2·L1 규제와 변수 선택 특성의 차이

주의할 점

• Robust와 Standard scaler는 사전 정의된 범위 조정이 아니므로 엄밀한 Scaling 분류와 차이
• Standardization은 feature 간 상대 거리 왜곡 가능성 고려
• Scaling·Normalization 같은 포괄적 표현 대신 Min-Max, Z-Score, L1/L2 등 구체적 명칭 사용