阳明交通大学推出视频编辑框架NaRCan，它能够生成高质量的自然规范图像（canonical images），以代表输入视频。这些规范图像非常适合用于各种视频编辑任务，比如风格转换、动态分割和手写等。NaRCan在多个视频编辑任务中的性能超越了现有的方法，并且在保持高自然性和高质量图像的同时，显著减少了训练时间。此外，NaRCan的框架还支持将复杂场景分割成多个部分，并通过分离的规范图像来处理，以保持视频编辑过程中的时间一致性。
例如，你是一名视频编辑师，需要将一段视频转换成油画风格。使用NaRCan，你可以先从视频中生成一个规范图像，然后对这个图像应用油画风格，最后将风格化后的图像应用回视频中的每一帧，从而实现整个视频的风格转换。
主要功能：
- 生成规范图像：NaRCan能够从视频中生成一个规范图像，该图像能够代表整个视频内容。
- 视频编辑：利用生成的规范图像，可以进行各种视频编辑操作，如风格转换、动态分割等。
主要特点：
- 高质量和自然性：生成的规范图像具有高质量和自然的外观，适合用于视频编辑任务。
- 训练加速：通过引入低秩适应（LoRA）微调和噪声扩散先验更新调度技术，NaRCan能够显著加快训练过程。
- 多场景适用性：NaRCan能够在多种情况下生成高质量的规范图像，包括处理复杂视频动态。
工作原理：
- NaRCan使用单应性（homography）来模拟全局运动，并利用多层感知器（MLPs）来捕捉局部残差变形。
- 通过在训练早期引入扩散先验，确保生成的图像保持自然的外观。
- 采用新的二维并行选择性扫描方法，提高复杂二维循环的效率。
具体应用场景：
- 风格转换：将原始视频转换成全新的风格，丰富观看体验。
- 动态分割：对视频中的动态对象进行分割，可以用于视频编辑和分析。
- 手写：在视频对象上进行手写或标记，适用于教学或演示。
0条评论