AI
선형 모델과 회귀분석의 직관적 이해 (1)
두줄요약
선형 모델은 입력식 모양이 아니라 추정 파라미터에 대한 선형성으로 판단함을 설명했습니다. 회귀분석은 정보에 따른 조건부 기댓값으로 잔차 분산을 줄이는 방법임을 소개합니다.
구조와 흐름
- 선형성 판단 기준을 입력 변수 차수가 아닌 추정 파라미터에 대한 선형변환 성질로 정의
- 다항식·지수식·유리식·미분방정식의 선형화 가능성과 Gaussian Kernel SVM의 비선형성 대비
- 회귀분석을 정보 X에 따른 조건부 기댓값 추정으로 설명
선택 이유
- 가산성·동질성에 따른 계산 분해와 파라미터 효과의 직관적 해석
- 비선형 모델 대비 낮은 계산비용과 복잡한 패턴이 불필요한 데이터에서의 견고한 추정
- 조건부 기댓값 활용을 통한 잔차 분산과 예측 불확실성 축소
주의할 점
- 고차 다항식으로 표본을 완벽히 맞추는 경우 큰 분산과 오버피팅 위험
- 비선형 모델의 무분별한 사용에 따른 variance 증가와 MSE 악화 가능성
- 본질적으로 선형인 모델과 원래 비선형인 Kernel 모델의 구분
적용해볼 점
- 캠페인 예측에서 전체 평균 대신 레버 마케팅 유무 같은 세그먼트 정보 활용
- 피벗 테이블 기반 조건부 평균 비교와 잔차 분산 개선 측정
