这篇论文介绍了一个名为OmniFusion的多模态模型，它结合了大型语言模型（LLM）和视觉模态的适配器，以提高人工智能系统处理和理解文本和图像数据的能力。OmniFusion模型在多个视觉-语言基准测试中表现出色，尤其是在视觉问题回答（VQA）任务上，与现有的开源解决方案相比，它能够提供更详细的答案。 GitHub：... 阅读全文

面壁智能与清华大学自然语言处理实验室共同开源的系列端侧大模型MiniCPM，旨在探索在资源有限的情况下，如何有效地训练和部署语言模型。MiniCPM系列包括两个主要模型，分别是拥有1.2亿和2.4亿非嵌入参数的变体。尽管模型规模较小，但它们在各种任务上的表现与大型语言模型（LLMs）相当，甚至在某些情况下能与参数量达到... 阅读全文

RWKV推出两个新型的序列模型——Eagle（RWKV-5）和Finch（RWKV-6），它们是在之前RWKV-4模型的基础上进行改进的。这些模型的目标是提高自然语言处理（NLP）任务的效率，同时保持或提升模型的性能。RWKV的架构设计进步体现在多头矩阵值状态和动态递归机制上，这些改进在保持RNN推理效率的同时，也增强... 阅读全文

这篇论文的主题是关于如何从单个RGB图像或视频中重建手持物体的三维模型。这项技术特别关注在户外环境中，当手遮挡了物体的大部分视线时，如何准确地重建物体的三维结构。论文中提出了一个名为MCC-HO的模型，它结合了大型语言/视觉模型和三维物体数据集的最新进展，以实现这一目标。 主要功能和特点： 手部和物体几何联合重建： M... 阅读全文

来自新加坡国立大学的研究人员推出3D生成建模新技术Hash3D，这个技术旨在提高3D模型生成的效率，而不需要重新训练模型。在3D建模中，通常需要大量的计算资源和时间来创建高质量的3D对象，特别是当使用复杂的2D扩散模型来生成3D内容时。Hash3D通过一种无需训练的方法，加速了这一过程，使得创建3D模型变得更加快速和高... 阅读全文

Meta发布论文深入探讨了自适应密度控制（ADC）在3D高斯溅射（3DGS）方法中的局限性。3DGS是一种场景表示方法，能够生成高质量、逼真的新颖视图合成结果。ADC被引入用于自动管理3D点基本元素，包括控制加密和修剪操作，但在加密逻辑方面存在某些不足。我们的主要贡献在于，为3DGS提出了一种更加基于原则、以像素误差为... 阅读全文

在谷歌和OpenAI接连放大招后，Mistral也不甘寂寞，直接释出了开源大模型Mixtral 8x22b，此模型 281.24 GB大小，需要4 张英伟达 A100 或H100显卡，才可以安全高效地运行模型。（PS：Mistral又是直接放磁力链接让大家下载） 磁力链接： magnet:?xt=urn:btih:92... 阅读全文

OpenAI发布了备受期待的GPT-4-Turbo正式版，该版本已在ChatGPT中正式提供，并同时集成到OpenAI API中。GPT-4-Turbo具有视觉能力，并支持高达128k的上下文，为用户提供了更丰富的交互体验。 主要更新亮点： 全面开放：用户现在可以通过“gpt-4-turbo”来使用此模型，最新版本为“... 阅读全文

谷歌在今天宣布将在180多个国家/地区推出Gemini 1.5 Pro 的API，首次提供原生音频（语音）理解能力以及全新的File API，使得文件处理更加便捷。此外，还推出了系统指令和JSON模式等新功能，赋予开发者对模型输出的更多控制权。最后，谷歌发布了性能卓越的下一代文本嵌入模型，超越了同类产品的表现。 以下是... 阅读全文

美国卡内基梅隆大学机器人研究所和中国大连理工大学未来技术学院的研究人员推出新型网络Sigma，它是一种用于多模态语义分割的网络。Sigma是一种先进的多模态语义分割网络，它通过有效地结合多种传感器数据，提高了AI系统对复杂环境的理解和适应能力。例如，你有一个机器人，它可以通过摄像头看到世界（这就是RGB图像），但它还能... 阅读全文

微软搜索团队推出“直接纳什优化（Direct Nash Optimization, DNO）”，这是一种用于训练大型语言模型（LLMs）的方法，目的是让模型通过自我改进来更好地符合人类的偏好和价值观。想象一下，就像有一个智能助手，它可以通过学习我们喜欢什么样的回答和不喜欢什么样的回答，然后不断地调整自己，以提供更符合我... 阅读全文

斯坦福大学的研究人员推出Stream of Search (SoS)，它教会语言模型如何在解决问题时进行搜索和推理。通常，大语言模型在训练时只接触到正确的解决方案，而不会看到错误或者寻找解决方案的过程。这就像是只学习到了如何走到目的地，而没有学习如何在路上迷路和找回方向。SoS方法通过将搜索过程表示为一系列的文本信息（... 阅读全文