谷歌推出内容审核系统ShieldGemma，它是基于大语言模型（LLMs）构建的，专门用于检测和过滤不安全内容。这个系统就像是网络世界的保安，能够辨别出不当的言语或行为，保护用户免受有害信息的影响。例如，有一个在线论坛，用户可能会发布包含仇恨言论或不当内容的帖子。使用ShieldGemma，系统可以自动检测这些帖子，并将其标记为审核，或者直接过滤掉，以保护其他用户免受有害信息的影响。同时，如果论坛使用AI助手来自动回应用户的提问，ShieldGemma也可以确保助手的回答是安全和合适的，不会生成任何不当的内容。
- 模型地址：https://huggingface.co/google/shieldgemma-2b
- 项目主页：https://www.kaggle.com/models/google/shieldgemma
主要功能： ShieldGemma的主要功能是审核和过滤文本内容，它能够识别多种类型的危害，包括色情内容、危险内容、骚扰、仇恨言论等。无论是用户输入的信息，还是语言模型生成的输出，ShieldGemma都能够进行安全风险评估。
主要特点：
- 多参数模型：ShieldGemma提供了从2亿参数到27亿参数不等的模型，以适应不同的应用需求。
- 高性能：在公共基准测试中，ShieldGemma比现有的模型如Llama Guard和WildCard表现得更好。
- 合成数据生成：它使用一种新颖的数据整理流程，主要依赖合成数据，这减少了人工注释的工作量，并展示了强大的泛化能力。
工作原理：
- 数据整理：ShieldGemma使用自动化的方法生成对抗性和多样化的数据集，并通过主动学习减少对人工注释的需求。
- 模型微调：使用特定的指令对Gemma2模型进行微调，以适应不同的安全政策。
- 安全策略：根据明确定义的准则来过滤掉不当内容，这些准则详细规定了可接受和不可接受的内容。
具体应用场景：
- 在线平台：在社交媒体、论坛或其他在线平台上，ShieldGemma可以帮助过滤用户的发帖和评论，防止发布有害信息。
- 聊天机器人：在客服或虚拟助手中，它可以确保机器人的回应是安全和恰当的。
- 内容生成：在需要生成大量文本内容时，比如新闻摘要、故事创作等，ShieldGemma可以确保内容的安全性。
0条评论