滑铁卢大学、清华大学、Stardust.AI、多伦多大学和AI2的研究人员推出自动视频质量评估工具MANTISSCORE，自动评估视频生成的质量。随着人工智能技术的发展，尤其是文本到视频（Text-to-Video, T2V）生成模型的快速进步，我们需要一种可靠的方法来评估这些由AI生成的视频的质量。但是，现有的评估指标在评价生成视频时存在明显的不足。
- 项目主页：https://tiger-ai-lab.github.io/MantisScore
例如，你是一个视频生成模型的开发者，你想要评估你的模型生成的视频是否符合用户的期望。你可以使用MANTISSCORE来自动评估这些视频。比如，你生成了一个描述“一只猫在玩球”的视频，MANTISSCORE会根据视频的视觉质量、猫和球的动作是否连贯、视频动作是否符合物理规律等方面来打分，从而告诉你视频的质量如何。如果分数较低，你可能需要调整你的模型以生成更高质量的视频。
主要功能：
- 自动评估视频的质量，包括视觉质量、时间一致性、动态程度、文本到视频的对齐度以及事实一致性。
主要特点：
- 多维度评估：不仅仅评估视频的一个方面，而是从多个角度综合评价视频的质量。
- 高相关性：与人类评估者的相关性高，能够更准确地反映视频的真实质量。
- 自动化：减少了对人类评估者的依赖，提高了评估效率。
工作原理：
- 论文中提出了一个名为MANTISSCORE的自动视频质量评估工具。这个工具基于一个大规模的人类标注数据集VIDEOFEEDBACK进行训练，该数据集包含对11种现有视频生成模型生成的37.6K个视频的多方面评分。
- MANTISSCORE使用了一个预训练的视频语言模型MantisIdefics2-8B作为基础，通过对VIDEOFEEDBACK数据集的训练，学习如何根据视频的内容和相应的文本提示来评估视频的质量。
具体应用场景：
- 视频生成模型的开发：可以用来评估和比较不同视频生成模型的性能，帮助开发者改进模型。
- 内容创作的质量控制：在需要自动评估大量视频内容的场景下，如社交媒体、广告制作等，MANTISSCORE可以作为一个质量控制工具。
- 强化学习：在强化学习中，MANTISSCORE可以作为反馈机制，指导模型生成更符合人类偏好的视频。
0条评论