CLIP과 BLIP를 활용한 이미지-텍스트 유사도 계산
CLIP과 BLIP의 구조와 용도를 비교하며 이미지-텍스트 유사도 계산 예시를 정리했습니다. CLIP은 직접 매칭에, BLIP은 캡션 생성 후 의미 비교에 적합했습니다.
#CLIP#BLIP#멀티모달
11100

이미지 캡셔닝 태그가 달린 국내 IT 기업 기술 블로그 글을 최신순으로 모았습니다.
2개 표시
CLIP과 BLIP의 구조와 용도를 비교하며 이미지-텍스트 유사도 계산 예시를 정리했습니다. CLIP은 직접 매칭에, BLIP은 캡션 생성 후 의미 비교에 적합했습니다.

생성형 VLM과 멀티턴 이미지 대화 데이터를 구축해 포토챗의 문맥 이해를 개선했습니다. 언어 모델 고정과 이미지-캡션 사전학습으로 리트리벌 모델보다 높은 성능을 확인했습니다.