Velopers
모든 블로그모든 태그AI 업체 소식채용정보NEW공지주간 인기글주간 기술 흐름

국내 IT 기업 기술 블로그 최신 글

테크블로그국내 IT 기업 기술 블로그AI 업체 소식OpenAI · Anthropic 공식 블로그
필터 1
광고 영역
오픈챗 메시지들로부터 트렌딩 키워드 추출하기
라인
2025년 8월 29일
AI

오픈챗 메시지들로부터 트렌딩 키워드 추출하기

오픈챗 메시지에서 트렌딩 키워드를 뽑는 통계적 방법을 소개했습니다. 빈도 급증 탐지, 중복 제거, NPMI 필터, MMR 다양화로 품질을 높였습니다.

#MinHash#NPMI
11300
Deduplication - 학습 데이터에서 중복 제거하기
스캐터랩 핑퐁
2023년 7월 10일
AI

Deduplication - 학습 데이터에서 중복 제거하기

대규모 LLM 학습 데이터의 근접 중복을 효율적으로 제거하는 NearDedup 방식을 소개했습니다. LSH·자카드 유사도·편집 거리 필터를 Apache Beam으로 병렬 처리했습니다.

#LLM#Apache Beam
100

Powered by Velopers

소개이용약관개인정보처리방침공지사항광고 문의