WebLLM 是一个可定制且模块化的 JavaScript 包，它能够将语言模型对话功能直接集成到网络浏览器中，并利用硬件加速技术。所有操作都在浏览器内部完成，无需服务器端的支持，并通过 WebGPU 进行加速。
- 兼容性 WebLLM 完全兼容 OpenAI API，这意味着你可以使用相同的 OpenAI API 在本地的任何开源模型上进行操作，支持的功能包括 JSON 格式的数据交换、函数调用、数据流传输等。
- 隐私与性能 我们为每个人提供了许多有趣的机会来构建 AI 助手，并在享受 GPU 加速带来的好处的同时，保护用户的隐私。
- 体验与开发 欢迎访问我们的演示网页进行体验！你可以将 WebLLM 作为一个基础的 npm 包（npm 是一个 JavaScript 包管理器，用于管理和安装 JavaScript 库）来构建你自己的网络应用程序。只需遵循文档指南并查看“入门指南”即可。
- 项目背景 这个项目是 MLC LLM 的配套项目，它允许在 iPhone 和其他本地环境中原生运行大型语言模型（LLM）。
项目主页：https://webllm.mlc.ai
GitHub：https://github.com/mlc-ai/web-llm
0条评论