Velopers
모든 블로그모든 태그AI 업체 소식채용정보NEW공지주간 인기글주간 기술 흐름

국내 IT 기업 기술 블로그 최신 글

테크블로그국내 IT 기업 기술 블로그AI 업체 소식OpenAI · Anthropic 공식 블로그
필터 1
광고 영역
Deduplication - 학습 데이터에서 중복 제거하기
스캐터랩 핑퐁
2023년 7월 10일
AI

Deduplication - 학습 데이터에서 중복 제거하기

대규모 LLM 학습 데이터의 근접 중복을 효율적으로 제거하는 NearDedup 방식을 소개했습니다. LSH·자카드 유사도·편집 거리 필터를 Apache Beam으로 병렬 처리했습니다.

#LLM#Apache Beam
100
꼼꼼하고 이해하기 쉬운 Reformer 리뷰
스캐터랩 핑퐁
2020년 4월 29일
AI

꼼꼼하고 이해하기 쉬운 Reformer 리뷰

Reformer는 LSH Attention, Reversible Network, 청크 처리로 Transformer의 긴 입력 메모리 문제를 완화했습니다. 실험을 통해 성능 저하를 작게 유지하며 Attention 복잡도를 선형 수준으로 개선했음을 살펴봤습니다.

#Transformer#Reformer
100

Powered by Velopers

소개이용약관개인정보처리방침공지사항광고 문의