华为推出新型高效大语言模型DiJiang，DiJiang的核心目标是减少传统Transformer模型在处理长序列数据时所需的计算资源。Transformer模型在自然语言处理（NLP）领域取得了巨大成功，但其注意力机制（attention mechanism）需要大量的计算资源，尤其是在处理大量参数的大型语言模型时。... 阅读全文

这篇论文介绍了一种名为MambaMixer的新型深度学习架构，它专门设计用于高效处理长序列数据。MambaMixer的核心特点是它能够在数据中选择性地混合（mix）和过滤（filter）信息，无论是在时间序列还是图像数据中。这种选择性的能力是通过所谓的“双选择机制”实现的，即同时在数据的“tokens”（类似于序列中的... 阅读全文

OPPO发布推出Transformer-Lite，探讨如何在智能手机上高效部署大语言模型（LLM）。大语言模型是一种人工智能技术，广泛应用于智能助手、文本摘要、翻译和多模态任务等。然而，由于这些模型通常需要大量的计算能力和内存带宽，因此在移动设备上直接部署这些模型会面临一些挑战，比如速度慢和用户体验差。例如，想象一下你... 阅读全文

谷歌发布论文的主题是关于语言模型如何记忆和复述其训练数据中的整段文本。具体来说，研究者们探索了语言模型在处理和记忆长文本段落时的内部机制和权重分布。他们发现，尽管记忆过程涉及模型的多个层级和组件，但记忆段落的梯度（即模型在学习过程中调整权重的依据）在较低层级中更为显著。例如，如果我们有一个聊天机器人，我们可能不希望它直... 阅读全文

阿里推出视觉识别统一框架OMNIPARSER，它能够处理文本识别、关键信息提取和表格识别等任务，OmniParser是阿里读光项目的一部分，目标让AI在阅读、思考和创造上超越人类。想象一下，你有一个扫描的文档或者一张包含文字的图片，你想要从中提取出有用的信息，比如某个表格的数据或者文档中的关键信息。OMNIPARSER... 阅读全文

LlamaIndex是一个数据框架，专为基于LLM（大型语言模型）的应用程序而设计，这些应用程序可以通过上下文增强技术提升性能。这种采用检索增强生成（Retrieval-Augmented Generation）技术的LLM系统被称为RAG系统。LlamaIndex提供了必要的抽象方法，使得用户能够更轻松地摄取、组织并... 阅读全文

llm-answer-engine是一个受Perplexity启发的开源项目，使用Next.js、Groq、Mixtral、Langchain、OpenAI、Brave以及Serper等技术构建一个搜索引擎。该项目旨在基于用户查询，高效地提供相关的来源、答案、图像、视频以及后续问题。  ... 阅读全文

阿里昨日首次宣布开源MoE技术大模型Qwen1.5-MoE-A2.7B，这个模型以现有的Qwen-1.8B模型为基础。Qwen1.5-MoE-A2.7B激活参数为2.7亿，但在一系列基准评估中可以达到7B模型的性能。此外，与7B模型相比，它在训练成本和推理速度上具有显著优势。据官方评测显示，Qwen1.5-MoE-A2... 阅读全文

韩国Upstage AI发布论文讨论关于如何提高大语言模型（LLM）与人类偏好的一致性。想象一下，你有一个超级聪明的机器人，它可以回答各种问题，但是有时候它给出的答案可能会让人感到不舒服或者不准确。为了让这个机器人更好地理解人类的喜好，并给出更符合我们期望的答案，研究者们提出了一种新的方法，叫做“逐步直接偏好优化”（s... 阅读全文

IPEX-LLM是一个专为在英特尔 CPU和GPU上运行大语言模型（LLM）而设计的PyTorch库。无论您是在使用带有集成显卡（iGPU）的本地电脑，还是拥有如Arc、Flex和Max等独立显卡的设备，IPEX-LLM都能帮助您实现极低的延迟运行。借助IPEX-LLM，您可以轻松利用Intel强大的计算能力，将LLM... 阅读全文

Pico MLX Server为MLX Server提供了直观的图形用户界面（GUI），让您能够轻松操作。而MLX server则通过提供符合OpenAI API的本地MLX模型API，让您能够轻松整合现有的OpenAI聊天客户端。 亮点功能 快速启动与停止服务器：通过菜单栏的扩展功能，您可以迅速启动或停止服务器，操作... 阅读全文

LiteLLM是一个开源代理服务，使用 OpenAI 格式调用所有大语言模型API。... 阅读全文