리더보드 1등 LLM, 토스에서도 1등일까? - Toss Benchmark 구축기
공개 리더보드만으로는 토스 서비스에 맞는 LLM을 고르기 어려워 Toss Benchmark를 구축했습니다. 한국어 입력, 추론 설정, 도메인 지식과 정책 준수까지 함께 평가해 실제 업무 적합성을 확인했습니다.
#LLM#벤치마크#한국어
5500
태그
벤치마크 기술 블로그 글
벤치마크 태그가 달린 국내 IT 기업 기술 블로그 글을 최신순으로 모았습니다.
전체 7개최신 7개 표시
관련 태그
최신 게시글
7개 표시
채널톡이 글로벌 상담 Agent를 GPT-5.6 Luna로 갈아탄 이유
글로벌 상담 AI Agent의 메인 모델을 GPT-5.6 Luna로 바꾼 이유를 자체 벤치마크로 설명했습니다. 공개 리더보드보다 실제 워크로드에서의 품질, 비용, 속도를 함께 보고 전환했습니다.
#LLM#벤치마크#A/B 테스트
8100
채널 AI팀은 왜 새로운 ML 모델 벤치마크가 필요로 했을까?
채널 AI팀이 RAG 검색 성능을 평가하기 위해 자체 리트리벌 벤치마크를 만든 과정을 소개했습니다. 외부 벤치마크 한계를 보완하고 hybrid search 성능 개선도 확인했습니다.
#ML#RAG#검색
700
채널 AI팀은 왜 새로운 ML 모델 벤치마크가 필요로 했을까?
[AI_TOP_100] 문제 출제 후기 – 기술이 아닌, 사람을 묻다.
AI 모델 성능과 벤치마크가 넘쳐나는 시대에 문제 출제 경험을 돌아보는 글입니다. 기술보다 사람과 출제 의도를 묻는 관점이 핵심입니다.
#벤치마크
7800
![[AI_TOP_100] 문제 출제 후기 – 기술이 아닌, 사람을 묻다.](https://img1.kakaocdn.net/thumb/U896x0/?fname=https%3A%2F%2Ft1.kakaocdn.net%2Fkakao_tech%2Fimage%2Fb48ca796019a00001.jpeg)
Telegraf로 커스텀 지표 수집하기: Exporter 개발 경험 공유
Telegraf를 활용한 커스텀 Exporter 개발 경험과 적용 가이드를 소개한 세션입니다. 오픈소스 기반 Exporter 도입 배경, 성능 검토, 적용 후 개선점을 공유했습니다.
#Telegraf#Exporter#벤치마크
6900
Telegraf로 커스텀 지표 수집하기: Exporter 개발 경험 공유
EMNLP24 늦은 후기 1탄: 텔레콤 LLM 벤치마크 TelBench 발표 이야기
SK텔레콤이 한국어 상담 데이터를 기반으로 통신 특화 벤치마크 TelBench를 발표했습니다. 상담 요약과 후속 업무 자동화 가능성을 평가하고 개인정보 보호와 다국어 확장 계획도 함께 제시했습니다.
#LLM#NLP#벤치마크
9100
AI Agent의 시대, 벤치마크는 어떻게 진화할까: τ-bench
AI 에이전트의 실무 적합성을 τ-bench로 재평가한 글입니다. 기존 벤치마크와 달리 대화, 정책, 멀티스텝 처리, 일관성까지 함께 봐야 한다고 설명했습니다.
#LLM#AI Agent#벤치마크
7500
