香港科技大学和腾讯的研究人员发布论文探讨了压缩能力和智能之间的关系。作者提出了一个问题：如果一个语言模型能够以更少的比特无损地压缩文本，这是否意味着它具有更高的智能？为了回答这个问题，论文对大语言模型（LLMs）进行了实证研究，将这些模型视为数据压缩器，并评估了它们在不同基准测试中的表现。 主要功能和特点： 智能与压缩... 阅读全文

高通发布论文探讨了如何提高多模态大语言模型（MLLMs）推理（inference）效率的问题。MLLMs是一类能够处理包括文本和图像在内的多种模态数据的模型，它们在现实世界中非常有用，因为我们的数据通常包含多种形式，如文本、图片等。然而，这些模型在处理数据时往往速度较慢，因为它们需要逐个生成令牌（tokens），并且受... 阅读全文

华为推出多模态大语言模型TextHawk，它专门设计用于处理文档导向的任务，同时保持了处理多种模态任务的通用能力。TextHawk在处理文档图像时表现出色，这些图像通常包含高分辨率和高信息密度，这对于传统的语言模型来说是一个挑战。例如，如果你有一张包含复杂表格的图像，TextHawk可以帮助你理解表格中的数据，并回答有... 阅读全文

斯坦福大学人类中心人工智能研究所发布《2024人工智能指数报告》，这已经是该研究所第七年发布《人工智能指数报告》，2024年版指数报告是该研究所迄今为止最为全面的报告，它诞生于人工智能对社会影响日益凸显的重要时刻。该报告详细分析了2023 年人工智能（AI）技术的最新进展、社会影响、以及经济和政策方面的趋势。 此版报告... 阅读全文

CodeTF是一个基于Python的Transformer一站式库，专为代码大语言模型（Code LLMs）和代码智能任务而设计。它提供了无缝的训练和推理接口，可应用于代码摘要生成、翻译、代码生成等任务。该库旨在促进SOTA CodeLLMs轻松集成到实际应用中。 除了提供代码的核心LLMs功能外，CodeTF还具备跨... 阅读全文

llm.c是一个使用简单、纯粹的C/CUDA进行大语言模型训练的开源项目，无需庞大的245MB PyTorch或107MB cPython依赖。例如，GPT-2（CPU，fp32）的训练仅需要单个文件中约1000行的简洁代码。该代码能够立即编译并运行，且与PyTorch的参考实现完全吻合。之所以选择GPT-2作为首个工... 阅读全文

Morphic是一个开源的AI搜索引擎，你可以借助于Vercel AI SDK快速部署，设置 OpenAI APIh后就可以使用。... 阅读全文

北京人工智能研究院、南洋理工大学、北京大学计算机学院的研究人员发布论文，详细介绍了训练AI玩《荒野大镖客2：救赎》所面临的挑战，并对其在游戏中的表现进行了评估和评述。在题为《迈向通用计算机控制：以《荒野大镖客救赎2》为案例研究的多模态智能体》这篇论文中，读者可以了解到AI通用计算机控制（General Computer... 阅读全文

德克萨斯大学奥斯汀分校的研究人员推出简单方法Inheritune，用于从现有的大型基础语言模型（LM）中开发小型基础语言模型。这种方法的核心思想是：首先从大型LM中继承几个变压器块（层），然后在非常小的数据集（例如，原始预训练数据的0.1%）上训练这个小型模型。这个过程类似于从父母那里继承基因，然后用有限的资源（如食物... 阅读全文

亚利桑那州立大学和马里兰大学巴尔的摩县分校的研究团队发布论文论文探讨了自然语言指导在低层次视觉任务中的鲁棒性，特别是单目深度估计任务。单目深度估计是指使用单个图像来预测场景中每个像素的深度信息。最近的研究表明，通过将自然语言作为额外的指导信息，可以提高深度估计的准确性。然而，这种方法在泛化和鲁棒性方面的影响尚未得到充分... 阅读全文

来自康奈尔大学、普林斯顿大学和微软的研究人员推出新的强化学习算法数据集重置策略优化（Dataset Reset Policy Optimization，简称DR-PO），主要用于从人类偏好反馈中微调生成模型，例如GPT-4和Claude3 Opus等。这种算法特别适用于当人类标注者提供基于偏好的反馈（例如，对一个强化学... 阅读全文

FreeAskInternet 是一款完全免费、私密且本地运行的搜索聚合器和答案生成器，它利用大型语言模型（LLM）工作，无需 GPU 支持。用户可以通过 FreeAskInternet 界面提出问题，系统会调用本地运行的 searxng 进行多引擎搜索，并将搜索结果整合至 ChatGPT3.5 或其他大型语言模型中，... 阅读全文