开发者受到英伟达Chat with RTX启发，专为苹果Silicon系列处理器的电脑打造了一款本地大模型运行工具Chat with MLX，此工具自动下载本地模型，并且可以同本地文件进行交互，支持多种语言，包括英语、西班牙语、中文和越南语。该项目的一个关键特点是易于集成，用户可以轻松集成任何HuggingFace和MLX兼容的开源模型。
目前支持的模型：
- Google Gemma-7b-it, Gemma-2b-it
- Mistral-7B-Instruct, OpenHermes-2.5-Mistral-7B, NousHermes-2-Mistral-7B-DPO
- Mixtral-8x7B-Instruct-v0.1, Nous-Hermes-2-Mixtral-8x7B-DPO
- Quyen-SE (0.5B), Quyen (4B)
- StableLM 2 Zephyr (1.6B)
- Vistral-7B-Chat, VBD-Llama2-7b-chat, vinallama-7b-chat
MLX是什么？
苹果的MLX是一种开源的人工智能工具，专为在其硬件上训练和运行大型语言模型而设计。该框架是苹果公司为了推动人工智能研究而发布的一系列工具之一，旨在为用户提供更好的硬件支持，并简化机器学习模型的培训和部署过程。
MLX框架的特点包括：
- 统一的内存模型：MLX中的阵列位于共享内存中，操作可以在任何支持的设备类型上执行，而无需执行数据复制。这有助于提高数据移动速度和训练效率。
- 可组合函数转换：MLX具有用于自动微分、自动矢量化和计算图优化的可组合函数变换，这有助于简化模型的开发和优化过程。
- 惰性计算：MLX中的计算是惰性的，只有在需要时才具体化数组，这有助于节省计算资源和提高计算效率。
- 动态图构建：MLX中的计算图是动态构建的，可以根据需要更改函数的形状，而无需触发缓慢的编译过程，从而使调试更容易、更直观。
此外，MLX框架提供了Python API和C++ API，以及更高级别的包，以支持不同类型的模型开发和部署。该框架还针对苹果的Silicon处理器架构进行了优化，可充分利用苹果硬件的性能优势。
0条评论