Ollama是一款开源的大型语言模型工具,致力于为用户提供本地化的运行环境,满足个性化的需求。它允许用户快速运行Llama 2、Code Llama等多种模型,并提供了类似OpenAI的API接口和聊天界面,方便用户部署和使用最新版本的GPT模型。此外,Ollama还支持热加载模型文件,用户无需重新启动即可轻松切换不同的模型。最初,Ollama主要支持macOS和Linux系统,但昨天开发者宣布正式推出了Windows版本,使得更多用户能够享受到这款工具的便利。作为一个开源项目,Ollama不仅提供了强大的功能,还鼓励用户自定义和创建他们自己的模型,进一步丰富了其应用场景。
官网:https://ollama.com/download
GitHub地址:https://github.com/ollama/ollama
网盘下载:https://pan.baidu.com/s/1FncLgyqGkLmMrYP8VNEKSw?pwd=r5vc
以下是官方介绍全文翻译:
Ollama 现在可以在 Windows 上以预览版的形式使用,提供了全新的原生 Windows 体验,让您能够轻松地拉取、运行和创建大型语言模型。在 Windows 上的 Ollama 包括了内置 GPU 加速功能、完整的模型库访问权限,以及兼容 OpenAI 的 Ollama API。
硬件加速
Ollama 利用 NVIDIA GPU 以及可用的现代 CPU 指令集(如 AVX 和 AVX2)来加速模型运行。无需进行任何配置或虚拟化设置!
全面访问模型库
Windows 上的 Ollama 提供了对完整模型库的访问权限,包括视觉模型。当您运行视觉模型(如 LLaVA 1.6)时,只需将图像拖放到“ollama run”中即可将其添加到消息中。
始终可用的 Ollama API
Ollama 的 API 在后台自动运行,并服务于 http://localhost:11434
。这意味着工具和应用程序可以无需额外设置即可与之连接。
例如,以下是使用 PowerShell 调用 Ollama API 的方法:
(Invoke-WebRequest -method POST -Body '{"model":"llama2", "prompt":"Why is the sky blue?", "stream": false}' -uri http://localhost:11434/api/generate ).Content | ConvertFrom-json
此外,Windows 上的 Ollama 还支持与其他平台相同的 OpenAI 兼容性,使您能够通过 Ollama 使用为 OpenAI 构建的现有工具与本地模型。
开始使用
要开始体验 Windows 上的 Ollama 预览版,请按照以下步骤操作:
- 下载 Windows 版 Ollama
- 双击安装程序
OllamaSetup.exe
- 安装完成后,打开您喜欢的终端并运行
ollama run llama2
来运行一个模型
0条评论