OpenAI 公司今天发布新闻稿,宣布推出专用的 AI 检测工具,能够识别某张图片是否由 DALL・E 3 模型生成,且准确率高达 98%。OpenAI 公司在博文中表示,之所以推出这项新工具,主要是为了帮助研究人员研究内容真实性,此外该公司还宣布加入 C2PA(内容来源和真实性联盟)的指导委员会。OpenAI 表示该工具的内部测试结果显示,在区分非 AI 生成图像与 DALL・E 3 生成的图像方面成功率很高,成功率能够接近 98%,同时只有少于 0.5% 的非 AI 图像被错误地标记来自 DALL・E 3。
全球各地的人们正在利用生成式人工智能 (AI) 来创造和编辑图像、视频和音频,这极大地提升了创意、生产力和学习能力。随着生成的音视频内容变得日益普遍,我们认为社会整体接受新技术和标准将变得日益重要,这有助于人们理解他们在网上发现的内容所使用的工具。
在 OpenAI,我们正通过两种方式应对这一挑战:首先,与他人合作采用、开发和推广一个开放标准,帮助人们验证用于创建或编辑各种数字内容的工具;其次,创造新技术,特别是帮助人们识别由我们自己的工具生成的内容。
为真实性标准做出贡献
世界需要一种共同的方式来分享关于数字内容是如何创建的信息。标准可以帮助澄清内容是如何制作的,并以易于在多种情况下识别的方式提供有关其起源的其他信息——无论是相机的原始输出,还是像 DALL·E 3 这样的工具的艺术创作。
今天,OpenAI 加入了内容来源和真实性联盟 (Coalition for Content Provenance and Authenticity, C2PA) 的指导委员会。C2PA 是一个广泛采用的数字内容认证标准,由包括软件公司、相机制造商和在线平台在内的众多参与者开发和采纳。C2PA 可以用来证明内容来自特定的来源[1]。我们期待为这一标准的开发做出贡献,并认为这是我们方法的重要组成部分。
今年早些时候,我们开始为 DALL·E 3 创造和编辑的所有图像添加 C2PA 元数据,DALL·E 3 是我们最新的图像模型,在 ChatGPT 和 OpenAI API 中使用。当 Sora,我们的视频生成模型广泛推出时,我们也将为其整合 C2PA 元数据。
即使没有这些信息,人们仍然可以创建欺骗性内容(或可以删除它),但他们不容易伪造或更改这些信息,这使其成为建立信任的重要资源。随着标准的采用增加,这些信息可以伴随内容在其共享、修改和再利用的生命周期中。随着时间的推移,我们相信这种元数据将成为人们期望的东西,填补了数字内容真实性实践的关键空白。
为了推动对来源标准——包括 C2PA——的采用和理解,我们与 Microsoft 合作发起了一个社会韧性基金。这个 200 万美元的基金将支持 AI 教育和理解,包括通过像 AARP 的老年人技术服务、国际 IDEA 和 AI 合作伙伴关系等组织。
我们正在构建什么:识别由我们服务创建内容的新工具
除了我们在 C2PA 的投资外,OpenAI 也在开发新的来源方法,以增强数字内容的完整性。这包括实施防篡改水印——在数字内容如音频上标记难以移除的隐形信号——以及检测分类器——使用人工智能评估内容是否可能来自生成模型的工具。这些工具旨在更难于尝试移除有关内容来源的信号。
从今天开始,我们向包括研究实验室和面向研究的新闻非营利组织在内的第一批测试者开放申请,以获取 OpenAI 的图像检测分类器的访问权限,并通过我们的研究者访问计划提供反馈。这个工具预测一个图像是否由 OpenAI 的 DALL·E 3 生成。我们的目标是使独立的研究能够评估分类器的有效性,分析其在现实世界中的应用,提出这种使用的相关考虑,并探索 AI 生成内容的特征。访问申请可以在这里提交。
理解分类器可能表现不佳的时间和地点对于那些基于其结果做出决策的人来说至关重要。
对我们分类器早期版本的内部测试表明,在区分非 AI 生成图像和由 DALL·E 3 创建的图像方面具有高准确性。分类器正确识别了由 DALL·E 3 生成的图像,并且不会对非 AI 生成的图像触发误报。它正确识别了约 98% 的 DALL·E 3 图像,并且少于约 0.5% 的非 AI 生成图像被错误地标记为来自 DALL·E 3。分类器能够很好地处理常见的修改,如压缩、裁剪和饱和度变化,对其性能影响很小。然而,其他修改可能会降低性能。我们还发现,分类器在区分由 DALL·E 3 生成的图像和其他 AI 模型生成的图像方面的性能较低,目前在我们的内部数据集上标记了约 5-10% 的其他 AI 模型生成的图像。
此外,我们还将音频水印技术整合到了 Voice Engine 中,这是我们定制的声音模型,目前处于有限的研究预览阶段。我们致力于继续在这些领域的研究,以确保我们在音频技术方面的进展同样透明和安全。
内容认证的下一步是什么
虽然像上述这样的技术解决方案为我们的防御提供了积极的工具,但要在实践中有效地实现内容真实性,将需要集体行动。例如,平台、内容创作者和中间处理者需要促进保留元数据,以便为最终内容消费者提供内容来源的透明度。
我们围绕来源的努力只是更广泛的行业努力的一部分——许多同行研究实验室和生成式 AI 公司也在推进这一领域的研究。我们赞扬这些努力——行业必须合作并分享见解,以增强我们的理解和继续促进在线透明度。
0条评论