AI가 만들어주는 나만의 목소리(SK AI SUMMIT 발표사례)

핵심 내용

• AI 음성 생성·변환 기술로 개인화된 목소리와 노래를 만드는 흐름 정리
• Speech Voice Conversion과 Singing Voice Conversion의 차이, Zero-Shot VC의 입력·추론 방식 설명
• Feature Extractor, Semantic/Style Encoder, Length Regulator, Diffusion Transformer Decoder, Vocoder로 이어지는 파이프라인 구성
• Speaker Similarity, F₀ Correlation·RMSE로 음색 일관성과 피치 유사도 평가, 지연·데이터 부족·음색 보존 한계와 대응 방안 제시

적용해볼 점

• 음성 전처리에서 denoising, enhancement, source separation의 필요성
• 피치·음색·의미를 분리해 다루는 모듈 설계 관점
• 경량화, 데이터 증강, 스타일/스피커 임베딩 정교화의 개선 방향