来自滑铁卢大学、卡内基·梅隆大学和Vector Institute探讨了大语言模型（LLMs）在处理长篇幅上下文学习任务时的表现。研究者们发现，尽管LLMs在处理短上下文任务时表现出色，但当上下文长度增加时，它们的性能会显著下降。为了更全面地评估LLMs在长上下文学习中的能力，研究者们创建了一个专门的基准测试集Long... 阅读全文

英特尔推出多模态基础模型（MMFM）套件LLaVA-Gemma，它利用了最近发布的Gemma系列大语言模型（LLMs）。特别是2B参数的Gemma模型，为构建能力强大的小型多模态基础模型提供了机会。LLaVA-Gemma模型在多种评估中表现中等，但未能超越当前类似规模的最先进模型。研究者们对三个设计特征进行了测试：预训... 阅读全文

来自清华大学、伊利诺伊大学香槟分校、美国东北大学、ModelBest、中国人民大学、北京邮电大学和腾讯的研究人员推出新型大语言模型（LLM）套件EURUS，它专门针对推理任务进行了优化。这些模型在数学、代码生成和逻辑推理等多个复杂推理基准测试中取得了优异的表现，尤其是在LeetCode和TheoremQA这两个具有挑战... 阅读全文

这篇论文探讨了大语言模型（LLMs）在化学科学领域的应用潜力。LLMs是一类强大的人工智能工具，它们通过分析大量文本数据来理解和生成人类语言。在化学领域，这些模型可以用来预测化学物质的性质、优化化学反应过程，甚至设计和执行实验。例如，假设一个化学家想要了解某种新合成的化合物是否有毒，他们可以向LLM提出这个问题。LLM... 阅读全文

来自微软研究院、UT 奥斯汀分校和北京大学的研究人员推出LLM-ABR，利用大语言模型（LLMs）来设计适应不同网络特性的自适应比特率（ABR）算法。简单来说，就是通过智能系统自动调整视频流的清晰度，以适应观众的网络速度，确保视频播放的流畅性。例如，当你在家里通过Wi-Fi观看视频时，如果家里其他人也开始使用网络，比如... 阅读全文

来自谷歌和约翰霍普金斯大学的研究人员探讨了潜在扩散模型（Latent Diffusion Models，简称LDMs）的扩展特性，特别关注了它们在采样效率方面的表现。潜在扩散模型是一种用于生成图像的深度学习模型，可以通过文本描述来创建高质量的图像。尽管这类模型在图像合成、视频制作、音频生成等领域表现出色，但它们的一个主... 阅读全文

来自芬兰的研究人员推出大型多语言模型Poro 34B，它是为了解决小语种语言模型训练数据不足的问题而设计的。Poro 34B是一个拥有340亿参数的模型，它在芬兰语、英语和编程语言的数据上进行了训练，总共使用了一万亿个标记的数据。总的来说，Poro 34B是一个强大的多语言模型，它通过利用有限的多种语言数据，提高了小语... 阅读全文

斯坦福大学的研究人员推出新型在设备语言模型Octopus v2，它是为了在智能代理中实现自动化工作流程而设计的。这个模型特别适用于在智能手机、汽车、虚拟现实头盔和个人电脑等边缘设备上运行，以提供快速、准确的AI代理服务。总的来说，Octopus v2是一个强大的在设备语言模型，它通过优化模型大小和运行效率，使得在边缘设... 阅读全文

NAVER Cloud的HyperCLOVA X团队开发的大语言模型HyperCLOVA X，这个模型专门针对韩语和韩国文化进行了优化，并且在处理英语、数学和编程数据方面也具有很强的能力。HyperCLOVA X通过结合高质量的人类注释数据进行指令调整，同时遵循严格的安全指南，以确保负责任的AI实践。 论文地址：htt... 阅读全文

APUS与新旦智能联合训练、研发的千亿MoE（Mixture of Experts）架构大模型APUS-xDAN-4.0，在GitHub上正式开源，该模型可以在低端算力芯片4090上运行，综合性能达到了GPT-4 的90%。APUS-xDAN大模型4.0（MoE）采用GPT4类似的MoE架构，特点是多专家模型组合，同时... 阅读全文

东京大学的研究人员推出MaGRITTe，它可以根据用户提供的部分图像、顶视图布局信息和文本提示来控制和生成3D场景。想象一下，你有一个不完整的图片，比如一张桌子的角落，还有一些关于房间布局的文字描述，比如“有一个窗户和水槽的厨房”。MaGRITTe能够结合这些信息生成一个完整的3D厨房模型，包括所有的细节和布局。 主要... 阅读全文

这篇论文介绍了一个名为Direct Preference Optimization (DPO) 的新技术，它旨在提升大型多模态模型（LMMs）在处理视频指令跟随任务时的表现。想象一下，你正在观看一个教学视频，而一个AI模型需要根据视频内容回答关于视频的问题。这项技术可以帮助AI更准确地理解视频内容，并提供更相关、更准确... 阅读全文