카카오뱅크가 회고하는 if(kakaoAI)2024 ☕️
AI
카카오뱅크가 회고하는 if(kakaoAI)2024 ☕️
두줄요약
카카오뱅크가 if(kakaoAI)2024에서 LLM 평가·스미싱 탐지·XAI 적용 사례를 공유했습니다. 금융 규제를 고려한 DevOps와 온프레미스 Kubernetes 운영 경험도 소개했습니다.
구조와 흐름
- if(kakaoAI)2024에서 카카오뱅크가 5개 기술 세션과 2개 패널톡으로 공유한 AI·인프라 사례
- LLM 평가·스미싱 탐지·XAI·금융 AI 생태계·DevOps·온프레미스 Kubernetes 중심의 발표 구성
선택 이유
- 금융 도메인 특화 LLM 평가 프레임워크 DUO를 통한 계산 정확도와 멀티턴 대화 성능 검증
- 다양한 모델 적용을 위한 모델 비종속 SHAP 가속화 연구와 이상 거래 탐지 활용
- 금융 규제·망분리·접근 제어·증적 요구를 고려한 AI 및 개발 플랫폼 설계
성능/운영 포인트
- KernelSHAP 대비 최대 10배 속도 향상과 FastSHAP 대비 높은 설명력 확인
- GitOps, GitLab CI/CD와 AWS OIDC 연동으로 결재·증적·접근 제어 자동화
- Cluster API, Kyverno, Cilium 기반의 온프레미스 Kubernetes 보안 정책 및 변경 이력 관리
적용해볼 점
- 범용 벤치마크 한계를 보완하는 도메인별 검증 데이터와 평가 기준 구축
- LLM 서비스의 개인정보·보안·응답 시간 제약을 고려한 모델과 가드레일 배치
- Kubernetes 리소스와 물리 인프라를 Git·YAML 기반으로 형상 관리
