来自复旦大学的研究人员推出一种基于多智能体协作的大语言模型（LLM）扩展方法LONGAGENT，LONGAGENT的目标是解决大语言模型在处理长文本时遇到的高昂训练成本和推理延迟问题。通过这种方法，大语言模型能够处理超过100k（10万个）token的长文本，这在传统的大语言模型中是一个挑战，因为它们通常在处理超过这个... 阅读全文

来自弗吉尼亚理工大学、华盛顿大学、密歇根大学、亚马逊、微软、Meta AI的研究人员推出用于视觉指令调优（Visual Instruction Tuning）的数据集VISION-FLAN。这个系统旨在提高视觉语言模型（VLMs）在理解和执行视觉任务方面的能力，特别是在处理多样化任务和遵循人类偏好方面。 论文地址：ht... 阅读全文

来自Meta 、、乔治亚理工学院、StabilityAI的研究人员提出了一种名为“Stepwise ORMs (SORMs)”的方法，旨在提高大语言模型（LLMs）在解决数学、科学或编程问题时的推理能力这是一种在合成数据上训练的模型，用于更准确地预测最终答案的正确性，从而帮助LLMs在需要时进行自我修正。 论文地址：h... 阅读全文

论文的主题是关于一种名为“Speculative Streaming”的方法，旨在加速大语言模型（LLMs）的推理过程，而无需依赖辅助模型。这种方法通过在目标模型内部融合起草（drafting）和验证（verification）过程，实现了对解码速度的显著提升。Speculative Streaming通过在单一模型内... 阅读全文

来自清华大学和哈尔滨工业大学的研究人员推出一种名为“OneBit”的方法，它旨在将大语言模型（LLMs）的权重矩阵量化到极低比特宽度，即1比特，以实现模型的高效部署。这种方法特别关注于在保持模型性能的同时，大幅减少模型的存储和计算开销。 论文地址：https://arxiv.org/abs/2402.11295 主要功... 阅读全文

来自国内多所大学的研究人员推出一款全新金融领域评估基准方法FinBen，它专为评估大语言模型（LLMs）在金融领域的能力而设计。FinBen包含了35个数据集，覆盖了23个金融任务，这些任务根据Cattell-Horn-Carroll（CHC）理论分为三个难度层次，以评估LLMs在归纳推理、联想记忆、定量推理、晶体智力... 阅读全文

关于评估多模态大语言模型（MLLMs）在处理欺骗性提示（deceptive prompts）时的脆弱性，来自苹果的研究人员创建了一个名为MAD-Bench的基准测试，它包含了850个测试样本，分为六个类别，如不存在的对象、对象数量、空间关系和视觉混淆等，用以系统地检验MLLMs在面对文本提示和图像不一致时的冲突解决能力... 阅读全文

加州大学伯克利分校、Meta AI和德累斯顿工业大学的研究人员推出一个关于创建一个结合触觉、视觉和语言的多模态数据集，用于训练和评估能够理解和生成触觉感受描述的模型。这个数据集名为Touch-Vision-Language (TVL)，它包含了44,000对视觉-触觉观察数据，其中10%由人类标注，90%由GPT-4V... 阅读全文

来自亚马逊AWS AI 实验室、韩国科学院、德克萨斯大学奥斯汀分校的研究人员推出新的评估基准方法TOFUEVAL，评估大语言模型（LLMs）在特定主题对话摘要生成中的准确性。它专注于对话摘要的事实一致性。这个基准通过人类专家对由不同大小的LLMs生成的摘要进行事实一致性的二元句子级标注，并提供详细解释，以揭示不一致的句... 阅读全文

来自微软的研究人员推出一个名为Generalized Instruction Tuning（简称GLAN）的方法，它是一种用于大语言模型（LLMs）的通用和可扩展的指令调整方法。GLAN的核心思想是利用人类知识的预分类体系作为输入，生成大规模的合成指令数据，覆盖各个学科领域。这种方法不依赖于种子示例或现有数据集来构建指... 阅读全文

来自卡内基梅隆大学、华盛顿大学和Meta的研究人员提出了一种新的训练方法预指令调优（Pre-Instruction-Tuning，简称PIT），让大语言模型在处理新文档时更有效地吸收和应用知识。总的来说，这篇论文提出了一种新的方法来提升LLMs的知识吸收和应用能力，这对于构建更加智能和适应性强的AI系统具有重要意义。 ... 阅读全文

随着AI聊天机器人的广泛应用，背后所需的庞大数据运算能力使得AI运算芯片的需求日益旺盛。近期，AI芯片初创公司Groq推出了其LPU（语言处理单元）芯片的免费试用活动，凭借卓越性能在社交媒体上引起了广泛关注。 试用地址：https://wow.groq.com API地址：https://wow.groq.com Gr... 阅读全文