Ollama是一款开源的大型语言模型工具，致力于为用户提供本地化的运行环境，满足个性化的需求。它允许用户快速运行Llama 2、Code Llama等多种模型，并提供了类似OpenAI的API接口和聊天界面，方便用户部署和使用最新版本的GPT模型。此外，Ollama还支持热加载模型文件，用户无需重新启动即可轻松切换不同的模型。最初，Ollama主要支持macOS和Linux系统，但昨天开发者宣布正式推出了Windows版本，使得更多用户能够享受到这款工具的便利。作为一个开源项目，Ollama不仅提供了强大的功能，还鼓励用户自定义和创建他们自己的模型，进一步丰富了其应用场景。
官网：https://ollama.com/download
GitHub地址：https://github.com/ollama/ollama
网盘下载：https://pan.baidu.com/s/1FncLgyqGkLmMrYP8VNEKSw?pwd=r5vc
以下是官方介绍全文翻译：
Ollama 现在可以在 Windows 上以预览版的形式使用，提供了全新的原生 Windows 体验，让您能够轻松地拉取、运行和创建大型语言模型。在 Windows 上的 Ollama 包括了内置 GPU 加速功能、完整的模型库访问权限，以及兼容 OpenAI 的 Ollama API。
硬件加速
Ollama 利用 NVIDIA GPU 以及可用的现代 CPU 指令集（如 AVX 和 AVX2）来加速模型运行。无需进行任何配置或虚拟化设置！
全面访问模型库
Windows 上的 Ollama 提供了对完整模型库的访问权限，包括视觉模型。当您运行视觉模型（如 LLaVA 1.6）时，只需将图像拖放到“ollama run”中即可将其添加到消息中。
始终可用的 Ollama API
Ollama 的 API 在后台自动运行，并服务于 http://localhost:11434。这意味着工具和应用程序可以无需额外设置即可与之连接。
例如，以下是使用 PowerShell 调用 Ollama API 的方法：
(Invoke-WebRequest -method POST -Body '{"model":"llama2", "prompt":"Why is the sky blue?", "stream": false}' -uri http://localhost:11434/api/generate ).Content | ConvertFrom-json此外，Windows 上的 Ollama 还支持与其他平台相同的 OpenAI 兼容性，使您能够通过 Ollama 使用为 OpenAI 构建的现有工具与本地模型。
开始使用
要开始体验 Windows 上的 Ollama 预览版，请按照以下步骤操作：
- 下载 Windows 版 Ollama
- 双击安装程序
OllamaSetup.exe - 安装完成后，打开您喜欢的终端并运行
ollama run llama2来运行一个模型
0条评论