微软正在投资开发更多小型语言模型 (SLM) 。 在 Build 开发者大会上，该公司宣布了 Phi-3 模型的全面可用性，并预览了 Phi-3-vision。 然而，紧随微软 Copilot+ PC 消息之后，它推出了一款专门为这些设备的强大神经处理单元 (NPU) 打造的 SLM。Phi-3-Silica 将嵌入到 6 月开始销售的所有 Copilot+ PC 中。 它是所有 Phi 模型中最小的，具有 33 亿个参数。
小巧而高效
Phi-3-Silica 是所有 Phi 模型中最小的，具有 33 亿个参数。微软声称，它的延迟为每秒 650 个 token，耗电约 1.5 瓦，不会占用大量资源，同时释放 PC 的 CPU 和 GPU 来处理其他运算。Phi-3-Silica 的 token 生成重用了 NPU 的 KV 快取，并将在 CPU 上运行，产生大约每秒 27 个 token。
本地部署的语言模型
微软发言人表示，Phi-Silica 的不同之处在于「它是 Windows 首个本地部署的语言模型。它经过最佳化，可在 Copilot + PC NPU 上运行，为您的设备带来闪电般快速的本地推理。」这个里程碑象征着将先进的 AI 直接带给第三方 Windows 开发者，这些开发人员针对 Windows 进行了最佳化，他们可以开始构建出色的第一方体验和第三方体验。微软的这个新模型将帮助开发者在 Windows 平台上打造更好的 AI 应用，让使用者在今年秋天就能体验到更强大、更易用的功能。
0条评论