AI 모델의 성능, 우리는 제대로 평가하고 있을까?
AI 모델의 성능, 우리는 제대로 평가하고 있을까?
AI 벤치마크는 학습 데이터 오염으로 인해 점수 신뢰성이 흔들릴 수 있다고 설명했습니다. 이를 해결하기 위해 Secure Enclave 기반의 Double-Blind Evaluation 방식과 시범 적용 사례를 소개했습니다.
#LLM#ML
4100
국내 IT 기업 기술 블로그 최신 글
필터 1
FSD 시대의 일하는 법: AI-Native 전환 측정하기
FSD 시대의 일하는 법: AI-Native 전환 측정하기
AI를 단순한 보조 도구가 아니라 업무 전환의 수단으로 보는 관점을 제시했습니다. ANTI 지표로 AI-Native 전환 수준을 측정하고 Level 4 업무를 늘리는 방법을 설명했습니다.
#LLM#자동화
1400
LLM 품질 테스팅 시작하기
LLM과 sLLM의 자체 품질 평가 필요성을 정리하고, 리더보드 사례와 함께 LLM을 활용한 평가 프로세스를 설계한 글입니다. 프롬프트 일관성과 평가 기준 관리 같은 운영 과제도 함께 다뤘습니다.
#LLM#품질 평가
3300
과연 GPT-3는 얼마나 똑똑한 걸까?
GPT-3를 57개 분야 문제로 평가한 벤치마크와 43.9% 정답률을 살펴봤습니다. 모델 규모와 과제 특화 학습이 성능·효율에 미치는 영향을 정리했습니다.
#GPT-3#NLP
000