AI
ICML 2024를 다녀와서..
두줄요약
ICML 2024에서 발표한 이상탐지 연구와 현장 경험, LLM 관련 주요 동향을 함께 정리했습니다.\n라벨 없는 데이터의 이상탐지 알고리즘과 alignment·효율화·in-context learning 흐름을 간단히 소개했습니다.
핵심 내용
- ICML 2024 참가와 포스터 발표 경험 공유
- 스마트 공장 이상탐지를 위한 Unsupervised Outlier Detection 연구 소개
- LLM 관련 ICML 동향을 alignment, efficient, low rank learning, in-context learning으로 분류해 정리
구조와 흐름
- 이상탐지 논문 배경: 라벨 없는 센서 데이터, 기존 generative model의 한계, inlier memorization 관찰
- 알고리즘: 손실 분포를 2-Gaussian Mixture로 분리, Wasserstein distance 기반 종료 시점 판단, 앙상블로 안정성 보강
- LLM 동향: DPO/PPO 비교, reward model 일반화, 효율적 학습·추론, LoRA 계열 개선, in-context learning 해석
성능/운영 포인트
- Minmax Scaling이 Standard Scaling보다 유리하다는 이론적 근거 제시
- tabular, image, text 데이터에서 기존 UOD 방법 대비 성능 개선
- LLM 주제는 실제 서비스 적용성, 효율적 저장·학습, 추론 최적화 관점에서 관찰
적용해볼 점
- 라벨이 부족한 이상탐지 문제에서 초기 학습 구간의 memorization 신호 활용
- 여러 LLM alignment·효율화 기법을 비교 검토할 필요
- prompt engineering과 in-context learning 성능 변화의 실무적 재확인