杜比实验室和布法罗大学的研究人员推出Audio Match Cutting，它用于在电影和视频中自动寻找和创建匹配的音频过渡。这种技术特别关注音频的匹配剪辑，即在两个镜头之间实现声音的无缝过渡，让观众在听觉上感觉平滑自然。例如，你在制作一部电影预告片，需要在两个镜头之间创建音频过渡。使用Audio Match Cutting技术，系统可以自动分析这两个镜头的音频，找到最佳的音频片段进行匹配，并平滑地过渡，比如将一个场景中锤子敲击的声音平滑过渡到下一个场景中的马蹄声，即使这两个声音来自不同的来源，也能通过这种技术实现无缝衔接。
- 项目主页：https://denfed.github.io/audiomatchcut
主要功能：
- 自动识别和推荐可以匹配的音频片段。
- 创建平滑的音频过渡，增强视频剪辑的连贯性。
主要特点：
- 自监督学习：使用自监督学习方法来训练音频表示，无需人工标注数据。
- 粗到细的音频匹配流程：首先推荐匹配的镜头，然后进行细粒度的音频过渡创建。
- 数据集注释：为了评估音频匹配剪辑方法，论文中还注释了一个数据集。
工作原理：
- 问题定义：将音频匹配剪辑问题定义为单模态音频检索任务，即在视频片段集合中检索与查询视频片段音频匹配的片段。
- 数据收集：使用公开可用的数据集，如Audioset和Movieclips，来评估音频匹配剪辑生成方法。
- 音频匹配剪辑表示学习：提出一种自监督学习目标，通过“Split-and-Contrast”（分割和对比）的方式，训练模型学习如何检索高质量的音频匹配剪辑候选。
- 音频过渡：使用一种改进的交叉淡入淡出（crossfade）方法，通过选择特定的过渡点和根据音频特性自适应选择交叉淡入淡出的长度，来创建平滑的音频过渡。
具体应用场景：
- 视频编辑：辅助视频编辑者在剪辑过程中快速找到合适的音频过渡，提高编辑效率。
- 电影制作：在电影后期制作中，用于创造无缝的音频过渡，增强观众的沉浸感。
- 自动视频创作：在自动生成视频预告片、剪辑、蒙太奇等时，通过创建高质量的音频匹配剪辑，使视频更具吸引力。
0条评论