面壁智能与清华大学自然语言处理实验室共同开源的系列端侧大模型MiniCPM，旨在探索在资源有限的情况下，如何有效地训练和部署语言模型。MiniCPM系列包括两个主要模型，分别是拥有1.2亿和2.4亿非嵌入参数的变体。尽管模型规模较小，但它们在各种任务上的表现与大型语言模型（LLMs）相当，甚至在某些情况下能与参数量达到... 阅读全文

RWKV推出两个新型的序列模型——Eagle（RWKV-5）和Finch（RWKV-6），它们是在之前RWKV-4模型的基础上进行改进的。这些模型的目标是提高自然语言处理（NLP）任务的效率，同时保持或提升模型的性能。RWKV的架构设计进步体现在多头矩阵值状态和动态递归机制上，这些改进在保持RNN推理效率的同时，也增强... 阅读全文

Meta发布论文深入探讨了自适应密度控制（ADC）在3D高斯溅射（3DGS）方法中的局限性。3DGS是一种场景表示方法，能够生成高质量、逼真的新颖视图合成结果。ADC被引入用于自动管理3D点基本元素，包括控制加密和修剪操作，但在加密逻辑方面存在某些不足。我们的主要贡献在于，为3DGS提出了一种更加基于原则、以像素误差为... 阅读全文

在谷歌和OpenAI接连放大招后，Mistral也不甘寂寞，直接释出了开源大模型Mixtral 8x22b，此模型 281.24 GB大小，需要4 张英伟达 A100 或H100显卡，才可以安全高效地运行模型。（PS：Mistral又是直接放磁力链接让大家下载） 磁力链接： magnet:?xt=urn:btih:92... 阅读全文

OpenAI发布了备受期待的GPT-4-Turbo正式版，该版本已在ChatGPT中正式提供，并同时集成到OpenAI API中。GPT-4-Turbo具有视觉能力，并支持高达128k的上下文，为用户提供了更丰富的交互体验。 主要更新亮点： 全面开放：用户现在可以通过“gpt-4-turbo”来使用此模型，最新版本为“... 阅读全文

谷歌在今天宣布将在180多个国家/地区推出Gemini 1.5 Pro 的API，首次提供原生音频（语音）理解能力以及全新的File API，使得文件处理更加便捷。此外，还推出了系统指令和JSON模式等新功能，赋予开发者对模型输出的更多控制权。最后，谷歌发布了性能卓越的下一代文本嵌入模型，超越了同类产品的表现。 以下是... 阅读全文

美国卡内基梅隆大学机器人研究所和中国大连理工大学未来技术学院的研究人员推出新型网络Sigma，它是一种用于多模态语义分割的网络。Sigma是一种先进的多模态语义分割网络，它通过有效地结合多种传感器数据，提高了AI系统对复杂环境的理解和适应能力。例如，你有一个机器人，它可以通过摄像头看到世界（这就是RGB图像），但它还能... 阅读全文

微软搜索团队推出“直接纳什优化（Direct Nash Optimization, DNO）”，这是一种用于训练大型语言模型（LLMs）的方法，目的是让模型通过自我改进来更好地符合人类的偏好和价值观。想象一下，就像有一个智能助手，它可以通过学习我们喜欢什么样的回答和不喜欢什么样的回答，然后不断地调整自己，以提供更符合我... 阅读全文

斯坦福大学的研究人员推出Stream of Search (SoS)，它教会语言模型如何在解决问题时进行搜索和推理。通常，大语言模型在训练时只接触到正确的解决方案，而不会看到错误或者寻找解决方案的过程。这就像是只学习到了如何走到目的地，而没有学习如何在路上迷路和找回方向。SoS方法通过将搜索过程表示为一系列的文本信息（... 阅读全文

来自图宾根大学、剑桥大学、牛津大学和谷歌 Deepmind的研究人员发布论文探讨多模态模型在没有经过特定训练的情况下，对新概念的识别和图像生成能力，这种现象被称为“零样本”泛化。研究者们想知道这些模型在预训练数据集中接触到的概念频率如何影响它们在下游任务中的表现。这项研究揭示了多模态模型在处理不常见概念时的局限性，并提... 阅读全文

来自多模态艺术投影研究共同体、复旦大学、北京大学、上海交通大学、香港科技大学、滑铁卢大学、快手公司和矢量研究所的研究人员推出中文大语言模型“Chinese Tiny LLM”（CT-LLM），这是一个拥有20亿参数的语言模型，这个模型是为了更好地理解和处理中文而特别设计的，它在训练过程中主要使用了中文文本数据，同时也包... 阅读全文

英伟达发布CantTalkAboutThis，如何让大语言模型（比如聊天机器人）在对话中保持话题的连贯性和相关性。总的来说，这项工作提出了一种新的方法来提高语言模型在对话中保持话题相关性的能力，这对于开发能够有效、安全地与用户互动的聊天机器人和虚拟助手至关重要。 例如，你在和一个在线客服聊天，想要解决一个特定的问题，比... 阅读全文