AI
TwelveLabs Marengo를 활용한 Amazon Bedrock에서의 영상 이해 기술 구현
두줄요약
Amazon Bedrock의 TwelveLabs Marengo로 비디오를 멀티모달 임베딩으로 변환해 시맨틱 검색을 구현한 사례입니다. OpenSearch Serverless와 결합해 텍스트·이미지·오디오 질의로 관련 클립을 찾는 흐름을 소개했습니다.
핵심 내용
- Amazon Bedrock의 TwelveLabs Marengo 3.0을 활용한 비디오 이해 및 시맨틱 검색 구현 사례
- 비디오의 시각·오디오·전사 정보를 분리한 멀티 벡터 임베딩과 크로스 모달 검색 구조 소개
- Amazon OpenSearch Serverless 벡터 데이터베이스에 임베딩을 저장하고 텍스트·이미지 질의로 유사 클립 검색
구조와 흐름
- 비디오를 비동기 API로 임베딩 생성 후 세그먼트 단위로 분할
- visual, transcription, audio 임베딩을 활용해 시간 기반 검색 정확도 강화
- 텍스트·이미지 입력으로 OpenSearch kNN 검색 수행
적용해볼 점
- 메타데이터 매칭 중심의 검색을 의미 기반 검색으로 확장
- 대규모 비디오 아카이브의 분류·탐색·인사이트 추출 자동화에 활용
- 멀티모달 콘텐츠에서 모달리티별 임베딩 분리 전략 검토