스캐터랩 핑퐁2023년 7월 10일AIDeduplication - 학습 데이터에서 중복 제거하기대규모 LLM 학습 데이터의 근접 중복을 효율적으로 제거하는 NearDedup 방식을 소개했습니다. LSH·자카드 유사도·편집 거리 필터를 Apache Beam으로 병렬 처리했습니다.#LLM#Apache Beam000
스캐터랩 핑퐁2023년 2월 14일AIEMNLP 2022 ReviewEMNLP 2022의 NLP 논문 14편을 대화, 검색, 생성, 평가, 데이터셋 관점에서 리뷰했습니다. 프롬프트·LLM·멀티모달 학습의 성과와 개인정보, 비용, 데이터 품질 이슈를 함께 다뤘습니다.#NLP#LLM000
