谷歌宣布向所有开发者全面开放Gemini 1.5 Pro的200万个Token的上下文窗口功能

谷歌宣布向所有开发者全面开放Gemini 1.5 Pro的200万个Token的上下文窗口功能，为了应对成本上升，帮助开发者在面对多个提示时减少重复使用相同Token的成本，谷歌在Gemini API中为Gemini 1.5 Pro和1.5 Flash版本都引入了上下文缓存功能，以提升开发效率并降低成本。

• 官方介绍：https://developers.googleblog.com/en/new-features-for-the-gemini-api-and-google-ai-studio

以下是官方介绍全文：

今天，我们向开发者提供了 Gemini 1.5 Pro 的 200 万 Token（context tokens）上下文窗口的访问权限，Gemini API 中的代码执行能力，以及在 Google AI Studio 中加入了 Gemma 2。

长上下文和上下文缓存

在 I/O 大会上，我们宣布了 Gemini 1.5 Pro 拥有史上最多的 200 万 Token 上下文窗口，并设立了等待名单。今天，我们为所有开发者开放了 Gemini 1.5 Pro 上的 200 万 Token 上下文窗口的访问权限。

随着上下文窗口的增大，输入成本的潜力也随之增加。为了帮助开发者减少在多个提示中使用相同 Token 的任务成本，我们为 Gemini 1.5 Pro 和 1.5 Flash 推出了 Gemini API 中的上下文缓存功能。

代码执行

大语言模型（LLMs）在数学或数据推理问题上历来存在困难。生成并执行能够通过这些问题进行推理的代码有助于提高准确性。为了向开发者解锁这些能力，我们已经为 Gemini 1.5 Pro 和 1.5 Flash 启用了代码执行功能。一旦启用，模型就可以动态利用代码执行特性来生成并运行 Python 代码，并从结果中迭代学习，直到得到期望的最终输出。执行沙盒没有连接到互联网，标配了一些数值库，开发者只需根据模型输出的 Token 支付费用。

这是我们将代码执行作为模型能力的第一步，并且从今天起就可以通过 Gemini API 和 Google AI Studio 中的“高级设置”使用。

Google AI Studio 中的 Gemma 2

我们希望让 AI 对所有开发者都是易用的，无论你是想通过 API 密钥集成我们的 Gemini 模型，还是使用像 Gemma 2 这样的开放模型。为了帮助开发者亲身体验 Gemma 2 模型，我们将使其在 Google AI Studio 中可用于实验。

生产中的 Gemini 1.5 Flash

Gemini 1.5 Flash 旨在满足开发者对速度和可负担性的首要需求。我们对开发者如何使用 Gemini 1.5 Flash 进行创新并在生产中使用该模型感到兴奋：

• Envision 通过应用程序或智能眼镜使视力不佳的人能够更好地理解他们所处的即时环境，并提出具体问题。利用 Gemini 1.5 Flash 的速度，Envision 的用户能够实时获取周围环境的描述，这对于他们体验在世界中导航至关重要。
• Plural 是一个自动化政策分析和监控平台，它使用 Gemini 1.5 Flash 来总结和推理复杂的立法文件，供非政府组织和对政策感兴趣的公民使用，以便他们能够影响法案的通过。
• Zapier 利用 Gemini 1.5 Flash 的视频推理能力，从原始视频素材中提取特定细节到 Zapier 表格中，为视频编辑开启了新的自动化机会。
• Dot 是一个旨在随着用户使用而成长并逐渐变得更加个性化的 AI，它利用 Gemini 1.5 Flash 完成了许多信息压缩任务，这些任务对于他们的代理长期记忆系统至关重要。对于 Dot 来说，1.5 Flash 在执行摘要、过滤和重新排序等任务时，性能与更昂贵的模型相似，但成本不到十分之一。

与我们上个月的先前公告一致，我们正在努力使 Gemini 1.5 Flash 的调整功能对所有开发者可用，以启用新的用例、增加生产的稳健性和更高的可靠性。1.5 Flash 中的文本调整现已准备好进行红队测试，并将从今天开始逐步向开发者推出。所有开发者将能够在 7 月中旬通过 Gemini API 和 Google AI Studio 访问 Gemini 1.5 Flash 调整功能。

我们很高兴看到您如何使用这些新功能，您可以在我们的开发者论坛上加入讨论。如果您是企业开发者，请看我们如何使 Vertex AI 成为最具企业准备的通用人工智能平台。