谷歌正式开源大语言模型Gemma 2， Gemma 2 提供 90 亿 (9B) 和 270 亿 (27B) 参数大小两个模型，比第一代具有更高的性能和推理效率，并且内置了显著的安全改进。根据官方给出的测试报告，9B的能力明显强于LLaMA 3 8B；27B的能力弱于LLaMA 3 70B，强于Qwen 1.5 32B。目前ollama已经支持Gemma 2，大家可以下载体验！
- 官方博客：https://blog.google/technology/developers/google-gemma-2
- 技术报告：https://storage.googleapis.com/deepmind-media/gemma/gemma-2-report.pdf
- 模型地址：https://huggingface.co/collections/google/gemma-2-release-667d6600fd5220e7b967f315
- Ollama地址：https://ollama.com/library/gemma2
以下是官方介绍全文：
AI 拥有解决人类一些最紧迫问题的能力——前提是每个人都能使用相应的工具来开发它。这就是我们今年早些时候推出 Gemma 的原因，它是一个轻量级、前沿的开放模型系列，基于与 Gemini 模型相同的研究和技术构建。我们通过 CodeGemma、RecurrentGemma 和 PaliGemma 不断扩展 Gemma 家族——每个模型都为不同的 AI 任务提供了独特的功能，并且可以通过与 Hugging Face、英伟达 和 Ollama 等合作伙伴的集成轻松获取。
现在，我们正式向全球的研究人员和开发者发布 Gemma 2。Gemma 2 提供了 90 亿（9B）和 270 亿（27B）参数的版本，与第一代相比，它在推理性能上更出色、效率更高，并且内置了显著的安全进步。实际上，27B 版本的 Gemma 2 提供了与规模是其两倍以上的模型相媲美的替代选择，提供了直到去年年底还只能通过专有模型实现的性能。现在，这种性能可以在单个 英伟达 H100 Tensor Core GPU 或 TPU 主机上实现，大幅降低了部署成本。
一个针对效率和性能的新开放模型标准
我们在重新设计的架构上构建了 Gemma 2，旨在提供卓越的性能和推理效率。以下是它脱颖而出的原因：
- 卓越的性能：27B 的 Gemma 2 在其尺寸类别中提供了最佳性能，甚至为规模是其两倍以上的模型提供了有竞争力的替代品。9B 的 Gemma 2 模型也在其尺寸类别中提供了领先的性能，性能超过了 Llama 3 8B 和其他同类开放模型。有关详细的性能分析，请查看技术报告。
- 无与伦比的效率和成本节约：27B 的 Gemma 2 旨在在单个谷歌 Cloud TPU 主机、英伟达 A100 80GB Tensor Core GPU 或 英伟达 H100 Tensor Core GPU 上以全精度高效运行推理，显著降低成本，同时维持高性能。这使得 AI 部署更加容易获取且经济实惠。
- 跨硬件的极速推理：Gemma 2 经过优化，能够在各种硬件上以惊人的速度运行，从功能强大的游戏笔记本和高端台式机到基于云的配置。在 谷歌 AI Studio 中以全精度尝试 Gemma 2，使用 Gemma.cpp 在 CPU 上运行量化版本以提高本地性能，或者通过 Hugging Face Transformers 在家用计算机上使用 英伟达 RTX 或 GeForce RTX 尝试。
为开发者和研究人员设计
Gemma 2 不仅更强大，它还被设计为更容易集成到您的工作流程中：
- 开放且易于访问：与最初的 Gemma 模型一样，Gemma 2 在我们商业友好的 Gemma 许可下提供，赋予开发者和研究人员分享和商业化他们创新的能力。
- 广泛的框架兼容性：得益于与主要 AI框架的兼容性，您可以轻松地将 Gemma 2 与您喜欢的工具和工作流程一起使用，例如 Hugging Face Transformers，以及通过原生 Keras 3.0、vLLM、Gemma.cpp、Llama.cpp 和 Ollama 兼容的 JAX、PyTorch 和 TensorFlow。此外，Gemma 通过英伟达 TensorRT-LLM 进行了优化，可以在 英伟达 加速的基础设施上运行或作为英伟达 NIM 推理微服务。您现在就可以使用 Keras 和 Hugging Face 进行微调。我们正在积极开发更多参数高效的微调选项。
- 轻松部署：从下个月开始，谷歌 Cloud 用户将能够在 Vertex AI 上轻松部署和管理 Gemma 2。
探索新的 Gemma Cookbook，这是一系列实用示例和指南，帮助您构建自己的应用程序，并为特定任务微调 Gemma 2 模型。了解如何轻松地将 Gemma 与您选择的工具一起使用，包括执行检索增强生成等常见任务。
负责任的 AI 开发
我们致力于提供资源，帮助开发者和研究人员负责任地构建和部署 AI，包括通过我们的 Responsible Generative AI Toolkit。最近开源的 LLM Comparator 帮助开发者和研究人员进行深入的语言模型评估。从今天开始，您可以使用配套的 Python 库与您的模型和数据一起运行比较评估，并在应用程序中可视化结果。此外，我们正在积极开源我们的文本水印技术 SynthID，用于 Gemma 模型。
在训练 Gemma 2 时，我们遵循了我们健全的内部安全流程，过滤预训练数据，并对一系列综合指标进行了严格的测试和评估，以识别和减轻潜在的偏见和风险。我们在与安全和代表性伤害相关的大量公共基准测试上发布了我们的结果。
使用 Gemma 构建的项目
我们首次推出 Gemma 后，下载量超过了 1000 万次，并且出现了无数鼓舞人心的项目。例如，Navarasa 使用 Gemma 创建了一个植根于印度语言多样性的模型。
现在，Gemma 2 将帮助开发者启动更加雄心勃勃的项目，在他们的 AI 创作中解锁新的性能和潜力水平。我们将继续探索新的架构，并开发专业的 Gemma 变体，以解决更广泛的 AI 任务和挑战。这包括即将推出的 2.6B 参数 Gemma 2 模型，旨在进一步弥合轻量级可访问性和强大性能之间的差距。您可以在技术报告中了解更多关于即将发布的信息。
入门
Gemma 2 现在可以在 Google AI Studio 中使用，因此您可以在没有硬件要求的情况下测试其 27B 的完整性能能力。您也可以从 Kaggle 和 Hugging Face Models 下载 Gemma 2 的模型，Vertex AI Model Garden 即将推出。
为了促进研究和开发，Gemma 2 也可以通过 Kaggle 或 Colab 笔记本的免费层免费获得。首次使用 Google Cloud 的客户可能有资格获得 300 美元的信用额度。学术研究人员可以申请 Gemma 2 Academic Research Program，以获得加速他们使用 Gemma 2 进行研究的 Google Cloud 信用额度。申请现在开放，直至 8 月 9 日。
0条评论