금융 보안 퀴즈, AI에게 풀게 해봤습니다: 2025 금융 AI Challenge 우수상 후기
AI
금융 보안 퀴즈, AI에게 풀게 해봤습니다: 2025 금융 AI Challenge 우수상 후기
두줄요약
금융보안 AI 경진대회에서 24GB 단일 GPU 제약 아래 LLM 파이프라인을 설계하고 우수상을 수상한 과정을 정리했습니다.\n모델 선정부터 CPT, RAG, 양자화, 출력 제어까지의 선택 이유와 성능 개선 결과를 공유했습니다.
핵심 내용
- 금융보안 AI 경진대회에서 24GB 단일 GPU 제약 아래 금융보안 도메인 특화 LLM 파이프라인을 설계한 후기
- 모델 선정, 2단계 CPT, 단계별 LoRA, BM25 기반 RAG, 4bit 양자화, Structured Output을 유기적으로 결합
- 객관식과 주관식의 상반된 출력 요구를 분리 대응하며 최종 성능을 개선
구조와 흐름
- Qwen3-30B-A3B-Instruct-2507를 MoE 구조와 한국어·장문 처리 역량을 기준으로 선택
- 법령 중심 CPT 후 가이드라인 중심 CPT로 도메인 지식과 서술력을 순차 주입
- CPT용과 RAG용 전처리를 분리하고, BM25와 Top-k 최적화로 검색 품질을 끌어올림
선택 이유
- Full Fine-Tuning보다 LoRA가 catastrophic forgetting을 줄이며 성능 우위를 보임
- 임베딩 검색보다 BM25가 금융·법률 도메인에서 키워드 정확도와 재현율에 유리
- 객관식은 Structured Output, 주관식은 자유 생성을 적용해 각 평가 방식에 맞춤
성능/운영 포인트
- RAG 전용 정규화와 청킹 차이가 성능에 직접 영향, 전처리 품질이 핵심 변수
- MoE Gate는 16bit로 보존해 라우팅 불안정성 완화
- 단계적 적용으로 Base 대비 총 6.8%p 성능 향상