清华大学、北京航空航天大学、上海交通大学和RealAI的研究人员推出多模态大语言模型评估框架MultiTrust。简单来说，就是研究这些能够同时处理文本和图像等多种形式信息的人工智能模型是否值得信赖。这包括了它们在面对各种任务时的准确性、安全性、鲁棒性、公平性和隐私保护能力。
- 项目主页：https://multi-trust.github.io
- GitHub：https://github.com/thu-ml/MMTrustEval
例如，一个多模态模型在识别一张包含个人信息的图片时，它不仅要能识别出图片中的内容，还要能够判断这些信息是否属于个人隐私，并在需要时拒绝提供这些信息，以保护用户的隐私安全。这就是MLLMs在隐私保护方面的一个应用实例。通过这样的评估，研究者可以更好地理解模型的强项和弱点，并为未来的改进提供指导。
主要功能和特点：
- 全面性评估：论文提出了一个名为MultiTrust的评估框架，它是首个全面评估MLLMs可信度的标准，覆盖了真实性、安全性、鲁棒性、公平性和隐私保护五个主要方面。
- 多任务和数据集：通过32个不同的任务和自建的数据集，对MLLMs进行了深入的测试和分析。
- 多模态风险和跨模态影响：不仅关注了MLLMs在多模态输入下的潜在风险，还考虑了不同模态之间可能产生的交互影响。
工作原理：
- 多模态输入：模型可以接收和处理来自不同源（如文本和图像）的信息。
- 任务设计：根据不同的评估维度，设计了不同的任务来测试模型在特定情境下的表现。
- 数据集构建：创建或改进了数据集，以适应评估的需要，包括真实世界图像和合成图像。
- 实验和分析：对21个现代MLLMs进行了大规模实验，通过实验结果来揭示模型的可信度问题。
具体应用场景：
- 内容审核：确保AI生成的内容不包含有害信息，比如不当的图像描述或产生有毒文本内容。
- 安全防护：抵抗恶意攻击，例如通过图像输入尝试诱使模型违反其安全协议。
- 公平性和偏见识别：评估模型是否在处理不同群体的信息时存在偏见，确保决策的公平性。
- 隐私保护：在处理涉及个人隐私信息的任务时，模型能否有效保护用户的隐私不被泄露。
0条评论