라인2025년 8월 29일AI오픈챗 메시지들로부터 트렌딩 키워드 추출하기오픈챗 메시지에서 트렌딩 키워드를 뽑는 통계적 방법을 소개했습니다. 빈도 급증 탐지, 중복 제거, NPMI 필터, MMR 다양화로 품질을 높였습니다.#MinHash#NPMI#MMR11200
스캐터랩 핑퐁2023년 7월 10일AIDeduplication - 학습 데이터에서 중복 제거하기대규모 LLM 학습 데이터의 근접 중복을 효율적으로 제거하는 NearDedup 방식을 소개했습니다. LSH·자카드 유사도·편집 거리 필터를 Apache Beam으로 병렬 처리했습니다.#LLM#Apache Beam#LSH000
