
그리디 알고리즘을 이용한 중복 콘텐츠 클러스터링
두줄요약
크롤링한 퍼블리셔 콘텐츠에서 중복 항목을 구분하고 대표 콘텐츠를 선택할 필요를 다룹니다. 그리디 알고리즘 기반 콘텐츠 클러스터링을 주제로 제시합니다.
문제 상황
- 여러 제휴 퍼블리셔에서 크롤링한 콘텐츠 사이의 유사·중복 콘텐츠 발생
- 뉴스 콘텐츠의 동일 화제 반복 발행으로 사용자 노출 콘텐츠 선택 필요
구조와 흐름
- 중복 콘텐츠 간 관계 구분 단계
- 중복된 다수 콘텐츠 중 대표 콘텐츠 선택 단계
- 그리디 알고리즘 기반 중복 콘텐츠 클러스터링 주제
