来自Meta、南加州大学、卡内基梅隆大学 和加州大学圣地亚哥分校的研究人员推出新型神经网络架构MEGALODON，它是为了更高效地处理长序列数据而设计的。想象一下，你有一个非常长的故事，需要一个能够记住故事中所有细节的超级大脑。传统的神经网络（比如Transformer）在处理这样的故事时会遇到麻烦，因为它们的记忆能力... 阅读全文

香港科技大学和腾讯的研究人员发布论文探讨了压缩能力和智能之间的关系。作者提出了一个问题：如果一个语言模型能够以更少的比特无损地压缩文本，这是否意味着它具有更高的智能？为了回答这个问题，论文对大语言模型（LLMs）进行了实证研究，将这些模型视为数据压缩器，并评估了它们在不同基准测试中的表现。 主要功能和特点： 智能与压缩... 阅读全文

来自香港城市大学、密苏里大学堪萨斯城分校和岭南大学的研究人员推出新型3D场景表示方法CompGS（压缩高斯点渲染），高斯点渲染（Gaussian Splatting）是一种在3D图形学中用于渲染质量出众且效率很高的技术，它通过将3D场景分解为一系列高斯分布的点（3D Gaussians）来表示场景，并在渲染时将这些点投... 阅读全文

高通发布论文探讨了如何提高多模态大语言模型（MLLMs）推理（inference）效率的问题。MLLMs是一类能够处理包括文本和图像在内的多种模态数据的模型，它们在现实世界中非常有用，因为我们的数据通常包含多种形式，如文本、图片等。然而，这些模型在处理数据时往往速度较慢，因为它们需要逐个生成令牌（tokens），并且受... 阅读全文

华为推出多模态大语言模型TextHawk，它专门设计用于处理文档导向的任务，同时保持了处理多种模态任务的通用能力。TextHawk在处理文档图像时表现出色，这些图像通常包含高分辨率和高信息密度，这对于传统的语言模型来说是一个挑战。例如，如果你有一张包含复杂表格的图像，TextHawk可以帮助你理解表格中的数据，并回答有... 阅读全文

斯坦福大学人类中心人工智能研究所发布《2024人工智能指数报告》，这已经是该研究所第七年发布《人工智能指数报告》，2024年版指数报告是该研究所迄今为止最为全面的报告，它诞生于人工智能对社会影响日益凸显的重要时刻。该报告详细分析了2023 年人工智能（AI）技术的最新进展、社会影响、以及经济和政策方面的趋势。 此版报告... 阅读全文

aiXcoder开源了aiXcoder 7B Base模型，该模型在1.2T唯一标记数据上进行了广泛训练，其预训练任务以及上下文信息均针对现实世界中的代码生成场景进行了精心设计。在与其他参数大小相近的模型比较中，aiXcoder 7B Base在代码补全场景下的表现尤为出色。同时，在多语言nl2code基准测试中，其平... 阅读全文

CodeTF是一个基于Python的Transformer一站式库，专为代码大语言模型（Code LLMs）和代码智能任务而设计。它提供了无缝的训练和推理接口，可应用于代码摘要生成、翻译、代码生成等任务。该库旨在促进SOTA CodeLLMs轻松集成到实际应用中。 除了提供代码的核心LLMs功能外，CodeTF还具备跨... 阅读全文

llm.c是一个使用简单、纯粹的C/CUDA进行大语言模型训练的开源项目，无需庞大的245MB PyTorch或107MB cPython依赖。例如，GPT-2（CPU，fp32）的训练仅需要单个文件中约1000行的简洁代码。该代码能够立即编译并运行，且与PyTorch的参考实现完全吻合。之所以选择GPT-2作为首个工... 阅读全文

Morphic是一个开源的AI搜索引擎，你可以借助于Vercel AI SDK快速部署，设置 OpenAI APIh后就可以使用。... 阅读全文

北京人工智能研究院、南洋理工大学、北京大学计算机学院的研究人员发布论文，详细介绍了训练AI玩《荒野大镖客2：救赎》所面临的挑战，并对其在游戏中的表现进行了评估和评述。在题为《迈向通用计算机控制：以《荒野大镖客救赎2》为案例研究的多模态智能体》这篇论文中，读者可以了解到AI通用计算机控制（General Computer... 阅读全文

来自伊利诺伊大学厄巴纳-香槟分校和亚马逊推出新型神经辐射场（NeRF）方法MonoPatchNeRF，旨在通过单目引导来改进3D模型的几何精度。NeRF是一种用于从一组图像重建场景3D结构的技术，它能够从任意新视角渲染出高质量的图像。然而，现有的NeRF方法在处理多视角立体（MVS）基准测试时，往往无法准确重建几何结构... 阅读全文