来自西安交通大学、微软和北京大学的研究人员发布关于如何改善大语言模型（LLMs）在处理长文本输入时的信息利用问题的论文，特别是解决所谓的“中间丢失”（lost-in-the-middle）挑战。这个问题指的是模型在处理长文本时，往往不能充分利用文本中间部分的信息。 例如： 假设我们有一个包含数千句子的长文档，我们需要模... 阅读全文

英伟达、加州大学伯克利分校和多伦多大学的研究人员推出NeRF-XL，它能够利用多个GPU来扩展神经辐射场（NeRFs）的规模，从而使得训练和渲染具有更大容量的NeRFs成为可能。NeRFs是一种用于3D场景重建和新视角合成的技术，它可以通过一系列的2D图像来重建出3D场景，并从新的视角生成图像。 例如：我们想要从数千张... 阅读全文

加州大学圣地亚哥分校、微软公司、加州大学圣巴巴拉分校的研究人员推出list items one by one，这是一种提高多模态大语言模型视觉理解能力的新方法，它通过在图像上添加带标签的标记（tags）来增强模型将视觉对象与文本标记关联的能力。例如，我们有一张包含笔记本电脑、椅子、显示器和台灯的办公室照片。使用SoM提... 阅读全文

阿里巴巴发布了首个千亿参数的大模型 Qwen1.5-110B。此前它发布了 0.5B、1.8B、4B、7B、14B 和 72B 不同规模参数的版本。阿里巴巴称，Qwen1.5-110B 模型在基础能力评估中与 Meta-Llama3-70B 相媲美，在 Chat 评估中表现出色，包括 MT-Bench 和 Alpaca... 阅读全文

哔哩哔哩（B站）近日推出国内首个免费数字分身定制工具“必剪Studio”，为内容创作者带来颠覆性的创新体验。该工具集成了前沿的“数字分身”与“音色定制”两大核心功能，旨在显著提升UP主们的创作效率与个性化表达能力。“数字分身”技术借助AI算法的神奇力量，能够精准捕捉并1:1还原出用户的真实面貌与声音特质。只需上传一段真... 阅读全文

今年2月份就有爆料说OpenAI 要推出网络搜索服务，挑战谷歌霸权。而今天又有爆料，说OpenAI的搜索产品 Sonic - SNC（SearchGPT）已经进入评估阶段，新增多项功能： 1️⃣图像搜索 2️⃣多样小工具（天气、计算器、体育、财经及时间差计算） 3️⃣可进行后续提问 此次评估采用了多个模型，包括 GPT... 阅读全文

新型模型“Multi-Head Mixture-of-Experts”（MH-MoE），它是一种稀疏混合专家（Sparse Mixtures of Experts，简称SMoE）模型的改进版本。SMoE模型通过在每个构建模块中包含多个并行前馈神经网络（即专家），并通过路由器有策略地激活特定输入令牌的特定专家，从而在保持... 阅读全文

多模态语言模型Pegasus-1，它专门设计用于理解和交互视频内容，并通过自然语言进行交流。Pegasus-1旨在解决视频数据的独特挑战，例如解释时空信息，以提供对不同长度视频内容的深入理解。Pegasus-1的局限性，包括处理长视频的效率、可能出现的“幻觉”现象、安全和偏见问题，以及未来将增加的聊天功能等。 例如，我... 阅读全文

来自香港科技大学、MSRA、萨里大学、内蒙古大学、北京邮电大学和新加坡国立大学的研究人员推出新型零样本（Zero-Shot）语音合成系统FlashSpeech，零样本语音合成是指在没有特定说话人数据训练的情况下，能够模仿该说话人的声音来生成语音的技术。这项技术可以应用于多种场景，比如为电影角色配音、创建个性化的虚拟助手... 阅读全文

苏黎世联邦理工学院的研究人员发布论探讨和证明Transformer语言模型能够表示n-gram语言模型。n-gram语言模型是一种基于统计的语言模型，它根据前面的n-1个词来预测下一个词的概率。Transformer语言模型是一种基于深度学习的先进语言模型，广泛应用于自然语言处理任务中。例如，我们有一个4-gram语言... 阅读全文

苹果推出新型大型开放语言模型OpenELM，它旨在提高自然语言处理领域的研究透明度和可复现性，确保研究结果的可靠性，并允许对数据和模型偏见以及潜在风险进行调查。例如，你想要开发一个能够自动生成新闻文章摘要的系统。使用OpenELM，你可以对模型进行微调，使它能够理解新闻文章的关键信息，并生成简洁准确的摘要。由于Open... 阅读全文

伊利诺伊大学厄巴纳-香槟分校、Cohere 和普林斯顿大学的研究人员推出新技术SnapKV，，它是为了解决大语言模型（LLMs）在处理长文本输入时遇到的性能和内存效率问题。大型语言模型在生成文本时，会使用一种名为“键值（KV）缓存”的技术来提高性能，但随着输入长度的增加，KV缓存的大小也会增长，这会导致内存和时间效率问... 阅读全文