DeepSeek-V2 是一个专家混合（Mixture-of-Experts，简称 MoE）语言模型，以其经济的训练成本和高效的推理能力而著称。DeepSeek-V2 在一个包含 8100 万亿个 token 的多样化和高质量语料库上进行了预训练。随后，通过监督式微调（Supervised Fine-Tuning，简称... 阅读全文

CLLMs 是一种新型模型，它们通过并行解码 n 个 token 来有效降低推理延迟，采用的解码方法称为雅可比解码（Jacobi decoding），在推理效率上优于传统的自回归（AR）解码。实验结果显示，CLLMs 在多种任务上的生成速度提升了 2.4 至 3.4 倍。CLLMs 作为一种高效的并行解码器家族，不仅提... 阅读全文

Outlines〰 是一个 Python 库，它以简单而健壮的方式（具有结构化生成）使用大语言模型（LLM）。这个库由 .txt 公司构建，已经在众多公司的生产环境中得到应用。我们支持 OpenAI 的模型，同时通过 transformers、llama.cpp、exllama2 和 mamba_ssm 等库，释放了 ... 阅读全文

Secret Llama 是一个完全私密的大型语言模型（LLM）聊天机器人，它完全在浏览器中运行，无需服务器支持。支持 Mistral 和 LLama 3 等开源模型。开发者特别感谢 webllm 提供的推理引擎，使得这一切成为可能。 项目主页：https://secretllama.com/ 特点 完全私密：没有任何... 阅读全文

WebLLM 是一个可定制且模块化的 JavaScript 包，它能够将语言模型对话功能直接集成到网络浏览器中，并利用硬件加速技术。所有操作都在浏览器内部完成，无需服务器端的支持，并通过 WebGPU 进行加速。 兼容性 WebLLM 完全兼容 OpenAI API，这意味着你可以使用相同的 OpenAI API 在本... 阅读全文

对于需要特定主题素材的创作者来说，尤其是那些没有绘画经验的人，「Ilus AI」可能是一个救星。这是一个利用AI技术快速生成手绘插图的在线工具，提供了墨水绘画、涂鸦和扁平化风格三种样式供用户选择。用户只需输入想要生成的插图描述，Ilus AI 就能在几秒钟内生成插图，非常适合用于网页开发、简报设计、社交网站或数字营销等... 阅读全文

在当前的人工智能转折点上，多语言文本嵌入API成为了技术竞技场上的新焦点，这场较量不仅涉及行业巨头如OpenAI、Google、Cohere等，也包括了开源领域中微软的E5和北京智源的BGE-M3等重要参与者。通过对比这些模型的特性、使用示例和性能评估，国外开发者深入了解各模型在处理多语言自然语言处理任务中的实力。 模... 阅读全文

IBM 开源了它用于辅助编程的 Granite 代码模型，源代码托管在 GitHub 上，采用 Apache License 2.0 许可证，允许商业使用。与其它 AI 模型不同的是，IBM 致力于避免模型的版权问题，使用了开放数据集如 GitHub Code Clean、Starcoder、开放代码库和 GitHub... 阅读全文

英国人工智能安全研究所（AI Safety Institute）近日推出了一款名为“Inspect”的 AI 模型安全评估平台，该平台采用开源授权方式，向全球 AI 工程师免费开放，允许工程师们评估自家模型性能及安全性。这款 Inspect 平台主要由三大主要框架组成，分别为“数据集”、“求解器（Solver）”、“评... 阅读全文

AgentScope是一个创新的多智能体开发平台，旨在赋予开发人员使用大模型轻松构建多智能体应用的能力。 🤝 高易用： AgentScope专为开发人员设计，提供了丰富的组件, 全面的文档和广泛的兼容性。同时，AgentScope Workstation提供了在线拖拉拽编程和在线小助手(copilot)功能，帮助开发者... 阅读全文

Bisheng是一款领先的开源大模型应用开发平台，赋能和加速大模型应用开发落地，帮助用户以最佳体验进入下一代应用开发模式。 产品亮点 便捷：即使是业务人员，基于我们预置的应用模板，通过简单直观的表单填写方式快速搭建以大模型为核心的智能应用。 灵活：对大模型技术有了解的人员，我们紧跟最前沿大模型技术生态提供数百种开发组件... 阅读全文

LeRobot 是一个专注于 PyTorch 平台的机器学习项目，旨在为现实世界中的机器人技术提供先进的模型、数据集和工具。通过降低技术门槛，我们希望让更多人能够轻松地参与到机器人技术的研究和开发中来。 LeRobot 目标是简化机器人技术的入门过程，让贡献和共享变得更加容易。LeRobot 提供了丰富的资源，包括： ... 阅读全文