清华大学和智谱推出统一框架AUTODETECT，它专门设计来自动检测大语言模型（LLMs）中的弱点。例如，你有一个非常聪明的AI助手，它可以做很多复杂的事情，比如解决数学问题或者编写代码，但可能在某些看似简单的任务上犯错。AUTODETECT就像一个AI助手的教练，能够找出AI在哪些方面表现不佳，并提供改进的建议。 G... 阅读全文

字节跳动推出新型大语言模型video-SALMONN，它专门设计用于增强视频理解能力，尤其是通过语音增强的音频-视觉（av-LLM）模型。简单来说，video-SALMONN就像一个超级智能的“视频助手”，它不仅能“看”懂视频里的画面，还能“听”懂视频中的对话、音乐和其他声音，甚至能理解人们的讲话内容。 GitHub：... 阅读全文

北京大学、香港科技大学和麻省理工学院-IBM Watson AI 实验室的研究人员推出Llama-3-Physician-8B-Instruct，这是一个拥有8亿参数的医疗语言模型。该模型是基于Llama 3构建的，并首先在RefinedWeb数据集中的高质量医学子语料库上进行持续预训练，然后用各种医学和普通指令进行调... 阅读全文

韩国科学技术研究院和KT的研究人员推出“投机性解码”（Speculative Decoding），提高大语言模型（LLMs）在多语言环境中的推理速度，通过这种方法，可以显著加快模型在多语言设置下的推理时间。论文还提到，通过这种方法，他们能够在保持翻译质量的同时，显著提高翻译速度，这对于需要快速翻译服务的场景非常有用。此... 阅读全文

Google DeepMind推出新型策略WARP（Weight Averaged Rewarded Policies），用于通过人类反馈进行强化学习（RLHF）以对大型语言模型（LLMs）进行对齐。这种策略的目的是在使用人类偏好训练的奖励模型来优化语言模型时，平衡模型性能和保持预训练知识。论文通过一系列实验验证了WA... 阅读全文

纽约大学的研究人员推出多模态大语言模型系列Cambrian-1，这些模型采用以视觉为中心的方法设计。多模态大型语言模型结合了视觉和语言能力，旨在更好地理解和生成与图像和文本相关的信息。Cambrian-1的研究不仅达到了最先进的性能水平，而且还提供了一个全面的、开放的指令调整MLLM的“食谱”。研究团队提供了模型权重、... 阅读全文

亚马逊研究院、巴伊兰大学和艾伦人工智能研究所推出D-MERIT数据集，关于信息检索（Information Retrieval，简称IR）模型的评估方法。信息检索模型的任务是在一个大型的文档集合中，根据用户提出的查询（query），找出与之相关的文档段落（passages）。这就像我们在互联网上搜索信息时，搜索引擎会返... 阅读全文

北京通用人工智能研究院、通用人工智能国家重点实验室、北京大学和加州大学圣克鲁斯分校推出全面基准测试工具VideoHallucer，专门用来检测和评估LVLMs在视频理解任务中的幻觉问题。所谓“幻觉”，指的是这些模型在理解视频内容时，可能会生成与实际视频内容不符、无关或无意义的信息，这种现象可能会误导用户。VideoHa... 阅读全文

LMMs 实验室团队、 新加坡南洋理工大学和新加坡科技大学的研究人员推出Long Video Assistant（LongVA）模型，让大型多模态模型（LMMs）更好地理解和处理非常长的视频序列。这里的“长视频”指的是视频帧数很多，可能达到数千帧。以往的模型在处理这类视频时会遇到困难，因为它们的视觉编码器会产生大量的视... 阅读全文

新方法ToVo（Toxicity Taxonomy via Voting），它旨在通过投票机制和思维链（Chain-of-Thought）过程来创建一个开源的、高质量的数据集，用于检测和分类有害内容（toxic content）。这种方法特别关注提高现有有害内容检测模型的透明度、可定制性和可复现性。论文还讨论了ToVo... 阅读全文

一种新的机器翻译方法MeritFed，它基于个性化联邦学习（Personalized Federated Learning）算法，专门针对低资源语言（Low-Resource Languages，简称LRLs）的翻译任务。低资源语言通常缺乏足够的数据来训练高效的机器翻译模型。MeritFed算法的核心思想是，即使在不同... 阅读全文

新框架“多模态结构化生成”（Multimodal Structured Generation），它用于改进多模态基础模型（Multimodal Foundation Models，简称MMFMs）在特定任务上的表现，尤其是文档理解方面。MMFMs是结合了不同模态（如视觉和语言）的预训练基础模型，虽然在多种任务上表现出色... 阅读全文