금융 보안 퀴즈, AI에게 풀게 해봤습니다: 2025 금융 AI Challenge 우수상 후기
금융 보안 퀴즈, AI에게 풀게 해봤습니다: 2025 금융 AI Challenge 우수상 후기
금융보안 AI 경진대회에서 24GB 단일 GPU 제약 아래 LLM 파이프라인을 설계하고 우수상을 수상한 과정을 정리했습니다.\n모델 선정부터 CPT, RAG, 양자화, 출력 제어까지의 선택 이유와 성능 개선 결과를 공유했습니다.
#LLM#RAG
8900
국내 IT 기업 기술 블로그 최신 글
새로운 기술 블로그가 추가되었어요
필터 1
“힘세고 강한 아침”을 넘어: GPT-4o-mini를 대체할 TranslateGemma 실험기
“힘세고 강한 아침”을 넘어: GPT-4o-mini를 대체할 TranslateGemma 실험기
GPT-4o-mini 번역의 오역과 운영 리스크를 줄이기 위해 TranslateGemma를 온프레미스 대안으로 실험했습니다. 한국어 리뷰 번역 비교에서 용어 보존과 자연스러움이 더 나은 결과를 확인했습니다.
#LLM#번역
7300
수식없이 GPT(트랜스포머) 이해하기. 2편
GPT 기반 LLM의 추론 최적화와 양자화 개념을 설명했습니다. DeepSeek의 Latent Vector 기반 방식으로 KV Cache 메모리를 줄이는 사례도 다뤘습니다.
#LLM#cache
7700
로봇 ML 모델의 경량화 #1: 훈련 후 양자화
실외 자율주행 로봇에서는 서버용 ML 모델을 그대로 쓰기 어려워 경량화가 필요했습니다. 이 글은 PTQ와 TensorRT 기반 최적화, ONNX 변환 흐름을 설명했습니다.
#ML#NVIDIA
3600