这篇论文探讨了线性变换器（Linear Transformers）在上下文学习（In-Context Learning，ICL）中的潜力。研究者们发现，尽管线性变换器在结构上相对简单，但它们在处理复杂问题时表现出了惊人的能力。具体来说，线性变换器能够在其前向推理过程中隐式地执行类似于梯度下降的算法，并且能够发现并执行一... 阅读全文

加州大学伯克利分校、索尼的研究人员发布论文介绍了BeTAIL（Behavior Transformer Adversarial Imitation Learning），这是一种结合了行为变换器（Behavior Transformer，简称BeT）和对抗性模仿学习（Adversarial Imitation Learn... 阅读全文

布朗大学的研究人员发布论文介绍了一个名为LexC-Gen的方法，它旨在解决低资源语言（即那些缺乏大量标注数据的语言）在自然语言处理（NLP）任务中的挑战。LexC-Gen通过使用双语词典和大型语言模型（LLMs）来生成这些语言的分类任务数据。 论文地址：https://arxiv.org/abs/2402.14086 ... 阅读全文

来自Meta的研究人员发布论文介绍了一种名为Searchformer的新型Transformer模型，它通过一种称为搜索动态引导（search dynamics bootstrapping）的方法，训练Transformer来解决复杂的规划任务。Transformer是一种深度学习模型，通常用于处理自然语言处理（NLP... 阅读全文

来自滑铁卢大学、艾伦人工智能研究所、香港科技大学的研究人员推出开源代码生成系统OpenCodeInterpreter。这个系统旨在通过结合代码执行和迭代精炼，提高代码生成的质量和实用性。它通过一个名为“CodeFeedback”的数据集进行训练，该数据集包含了68K多轮交互，模拟了用户、代码模型和编译器之间的互动。它不... 阅读全文

Hugging Face 近日开源了一款名为“Cosmopedia”的 AI 训练数据集，号称是目前世界上最大的合成数据集。该数据集内容均由 Mixtral 7b 模型汇总生成，其中收录 3000 万以上文本文件，包含大量教科书、博客文章、故事小说、WikiHow 教程等内容，共计 250 亿个 Token。Cosmo... 阅读全文

来自微软的研究人员发布论文介绍了一种名为LongRoPE的技术，它能够显著扩展大语言模型（LLMs）的上下文窗口，达到了2048k个标记的惊人长度。这是首次实现这样的扩展，同时在保持原始短上下文窗口性能的同时，只需要1k步的微调，训练长度在256k以内。这项技术通过三个关键创新实现：首先，它识别并利用了位置插值中的两种... 阅读全文

Meta推出数据集Aria Everyday Activities (AEA) ，这是一个以第一人称视角记录的多模态开放数据集，通过Project Aria眼镜收集。AEA数据集包含了多个佩戴者在五个不同地理位置的室内环境中记录的143个日常活动序列。每个记录都包含了通过Project Aria眼镜收集的多模态传感器数... 阅读全文

来自Google DeepMind、魁北克人工智能研究所、蒙特利尔大学的研究人员发布论文探讨了在深度强化学习（Deep Reinforcement Learning, DRL）中，如何通过修剪网络（pruning）来提高模型的性能。修剪网络是一种优化技术，它通过移除神经网络中不重要的参数（通常是权重较小的连接），来减少... 阅读全文

来自香港大学、腾讯AI实验室的研究人员发布论文介绍了一种名为Bi-Modal Behavioral Alignment (BBA) 的方法，它是为了提高大型视觉-语言模型（LVLMs）在复杂多模态推理任务中的表现。BBA方法的核心在于它能够更好地利用视觉信息和领域特定语言（DSL）的表示，这两种信息在传统的Chain-... 阅读全文

这篇论文介绍了一种名为Ouroboros的新型解码框架，它旨在加速大语言模型（LLMs）的推理过程。Ouroboros通过一种称为“推测性解码”的方法，使用一个小型模型快速生成草稿，然后利用大型模型进行验证和修正，以减少时间开销。这种方法不需要对模型进行额外训练，也不会影响生成质量。 GitHub地址：https://... 阅读全文

来自谷歌的研究人员发布论文介绍了一个名为USER-LLM的框架，它是一个用于改进大语言模型（LLMs）以更好地理解和适应用户交互数据的系统。USER-LLM通过使用用户嵌入（user embeddings）来为LLMs提供上下文信息，这些嵌入是从用户的多样化交互数据中自动学习得到的，能够捕捉用户的偏好和行为模式。 论文... 阅读全文