LanceDB 是一个开源的向量搜索引擎数据库，结合了持久化存储，极大地简化了向量数据的检索、筛选和管理。LanceDB 的核心是用 Rust 语言编写的，并且是基于 Lance —— 一个为高效机器学习工作负载设计的开源列式存储格式构建的。 LanceDB 的主要特点 生产级向量搜索：适用于生产环境的大规模向量搜索，... 阅读全文

HackingBuddyGPT 是一款旨在帮助安全研究人员利用大语言模型（LLMs）发现新的网络攻击途径的工具，它能够在 50 行代码或更少的代码中实现这一目标，帮助研究人员拯救网络世界（或赚取漏洞赏金）。开发者希望建立一个更安全的网络环境，通过 AI 技术使安全专业人员能够更高效地完成安全测试工作。致力于成为安全研究... 阅读全文

DeepSeek-V2 是一个专家混合（Mixture-of-Experts，简称 MoE）语言模型，以其经济的训练成本和高效的推理能力而著称。DeepSeek-V2 在一个包含 8100 万亿个 token 的多样化和高质量语料库上进行了预训练。随后，通过监督式微调（Supervised Fine-Tuning，简称... 阅读全文

CLLMs 是一种新型模型，它们通过并行解码 n 个 token 来有效降低推理延迟，采用的解码方法称为雅可比解码（Jacobi decoding），在推理效率上优于传统的自回归（AR）解码。实验结果显示，CLLMs 在多种任务上的生成速度提升了 2.4 至 3.4 倍。CLLMs 作为一种高效的并行解码器家族，不仅提... 阅读全文

Outlines〰 是一个 Python 库，它以简单而健壮的方式（具有结构化生成）使用大语言模型（LLM）。这个库由 .txt 公司构建，已经在众多公司的生产环境中得到应用。我们支持 OpenAI 的模型，同时通过 transformers、llama.cpp、exllama2 和 mamba_ssm 等库，释放了 ... 阅读全文

Secret Llama 是一个完全私密的大型语言模型（LLM）聊天机器人，它完全在浏览器中运行，无需服务器支持。支持 Mistral 和 LLama 3 等开源模型。开发者特别感谢 webllm 提供的推理引擎，使得这一切成为可能。 项目主页：https://secretllama.com/ 特点 完全私密：没有任何... 阅读全文

WebLLM 是一个可定制且模块化的 JavaScript 包，它能够将语言模型对话功能直接集成到网络浏览器中，并利用硬件加速技术。所有操作都在浏览器内部完成，无需服务器端的支持，并通过 WebGPU 进行加速。 兼容性 WebLLM 完全兼容 OpenAI API，这意味着你可以使用相同的 OpenAI API 在本... 阅读全文

在当前的人工智能转折点上，多语言文本嵌入API成为了技术竞技场上的新焦点，这场较量不仅涉及行业巨头如OpenAI、Google、Cohere等，也包括了开源领域中微软的E5和北京智源的BGE-M3等重要参与者。通过对比这些模型的特性、使用示例和性能评估，国外开发者深入了解各模型在处理多语言自然语言处理任务中的实力。 模... 阅读全文

英国人工智能安全研究所（AI Safety Institute）近日推出了一款名为“Inspect”的 AI 模型安全评估平台，该平台采用开源授权方式，向全球 AI 工程师免费开放，允许工程师们评估自家模型性能及安全性。这款 Inspect 平台主要由三大主要框架组成，分别为“数据集”、“求解器（Solver）”、“评... 阅读全文

ScrapeGraphAI 是一个基于 Python 的网络爬虫库，它结合了大语言模型（LLM）和直接图逻辑来为网站和本地文档（如 XML、HTML、JSON 等）创建抓取管道。这个库的设计理念是用户只需指定想要提取的信息，库就会自动完成抓取工作。 ScrapeGraphAI 提供了三种主要的抓取管道： SmartSc... 阅读全文

"PyWinAssistant" 是一个创新的开源人工智能框架，专为 Windows 10/11 用户设计。它通过激发大语言模型中的空间推理能力，帮助你更高效地与电脑互动——无需复杂的图像识别技术。 主要特点 无需 OCR 或对象检测：直接利用可视化思维（VoT）技术，简化了用户界面的操作。 提升通用性和效率：提高了应... 阅读全文

由多家企业和机构组成的日本联合研究团队近日发布了一款基于 Arm 架构超级计算机“富岳”训练的大型语言模型 Fugaku-LLM。 开发背景 启动时间：2023年5月 初期参与机构：富士通（富岳超算所有者）、东京工业大学、日本东北大学、日本理化学研究所（理研） 合作扩展 新增合作方（2023年8月）：名古屋大学、Cyb... 阅读全文