目前Chrome 开发者版和Chrome Canary 版已经集成了谷歌的大语言模型Gemini Nano,可以让用户无限制、离线使用(需额外下载1.2GB 模型文件),大家通过控制台就可以使用,不过这样比较麻烦,目前已有多个开发者提供了网页版和插件版,可以直接调用Gemini Nano,让大家可以更轻松的体验Gemini Nano。
Gemini Nano是什么?
Gemini Nano是谷歌旗下Gemini模型的精简版,专为本地运行设计。它沿用了前代模型的相同数据集,并保留了多模态处理能力,只是体型更为精巧。Gemini Nano 曾经是谷歌想要内置到手机中的模型,现在先进入了 Chrome,谷歌曾预告在Chrome 126版中引入这一特性,而目前它已提前登陆Chrome Canary,预示着正式版本的发布已近在咫尺。
本地运用Gemini Nano的优势
Gemini Nano使得数据处理能够在本地(设备端)完成,这一点对于处理敏感信息的应用尤为关键。用户能根据需求调整Gemini的反馈,轻松改变回复内容的长短、正式程度或简洁度。此外,它还支持离线环境下的AI功能,对于那些需要在无网或网络状况不佳场景下运行的软件而言极为有用。同时,将计算任务转移至用户设备上执行,对于高频使用场景下的推理成本节省颇有裨益。
本地部署Gemini Nano的多重益处
- 隐私保护:本地处理确保数据无需离开设备,为安全和隐私加筑了一道屏障。
- 速度提升:无需数据往返服务器,互动响应更加迅速,用户体验得以优化。
- 普适接入:开发者能将大型语言模型功能融入应用之中,用户无需持续联网。
Chrome Canary是什么?
Chrome Canary是Google Chrome浏览器的前沿试验版本,主要面向开发者和科技发烧友,让他们能在功能广泛普及前先行试用最新技术和API。虽然它提供了前沿功能,但因其实验性质,稳定性相对较弱,更易遭遇崩溃或表现不稳。Canary版本每日更新,集成了最新的功能,通常未经谷歌的全面测试。Canary位于发布序列之首,领先于开发版(Dev)、测试版(Beta)及稳定版(Stable)。稳定版则是经过最多测试、最为可靠的版本。
Canary不仅包含标准Chrome的所有功能,还整合了实验性功能。它能与其它Chrome版本共存,并支持Windows、macOS及Android系统。
如何在Chrome Canary中启动Gemini Nano
要开始在本地使用Gemini Nano,请遵循以下步骤:
- 下载并安装Chrome Canary,确保语言设定为英语(美国)。
- 访问
chrome://flags
。 - 开启以下选项:
- “Enables optimization guide on device”设为“Enabled BypassPerfRequirement”
- “Prompt API for Gemini Nano“提示”设为“Enabled”
- 重启Chrome。
- 等待Gemini Nano下载完成。可通过访问
chrome://components
检查状态,确认“Optimization Guide On Device Model ”的版本号应为2024.6.5.2205或更高。若需更新,点击“Check for updates”。 - 至此,您已成功配置好Gemini Nano,可以在本地使用Gemini Nano。
如何使用Gemini Nano?
一、浏览器开发者工具
打开浏览器的开发者工具,并在控制台中输入以下代码:
await window.ai.canCreateTextSession();
如果返回readily,表示模型是可用的。接下来输入以下代码就可以进行提问:
const session = await window.ai.createTextSession();const stream = session.promptStreaming("介绍一下你自己?")for await (const chunk of stream) {console.log(chunk)}
二、第三方工具
浏览器的开发者工具对于普通用户来说,使用过于麻烦,好在不少开发者已经打造了第三方工具,让大家更轻松使用Gemini Nano.
网页版
- https://chromeai.org
- https://www.localhostai.xyz
以上两个网站,在下载完Gemini Nano后,都可以直接打开就使用,不过需要注意的是由于是在线网站,使用Gemini Nano的时候,网页本身还没离线,因此还是需要联网,如果你是离线使用,建议使用插件或者本地网页。
本地网页
从GitHub上下载后,将网页拖入浏览器,即可直接使用。
- GitHub:https://github.com/notnotrishi/chromenano
插件版
此插件安装完后,点击后即可在侧边栏出现,插件版可以做到离线使用,这还是非常方便的。
- 插件一:https://chromewebstore.google.com/detail/chrome-built-in-ai-pin-on/pienijlenieciiamahkllplgadmdibjm
- 插件二:https://chromewebstore.google.com/detail/chrome-ai-chrome-%E5%86%85%E7%BD%AE%E5%85%8D%E8%B4%B9%E7%A6%BB%E7%BA%BF-a/emlpbjnkjcbepocijpjggfmmloipamia?hl=zh-CN
总结
对于想尝鲜的朋友可以下载进行尝试,浏览器和模型下载都需要代理才可以,使用上还是有一定门槛的,Gemini Nano是个小模型,对于硬件要求不高,6G的显卡即可带动,甚至CPU就可以。对于真正想在本地使用大模型的朋友,还是推荐大家使用Ollama或LM Studio这类本地大模型运行工具,大家可以有更多的模型使用,功能也更加强大,当然对于硬件的要求也相对较高。
PS:如果你无法下载浏览器和模型,我已经将浏览器和模型下载后放入网盘,你可以从网盘下载
123网盘:https://www.123pan.com/s/I1oZVv-3UlGA.html提取码:Vqvz
0条评论