由前微软全球副总裁、微软亚洲互联网工程院首席科学家姜大昕创办的阶跃星辰公司推出Step系列通用大模型，包括Step-1千亿参数语言大模型、Step-1V千亿参数多模态大模型，以及Step-2万亿参数MoE语言大模型的预览版，提供API接口给部分合作伙伴试用。基于Step-1和Step-1V千亿参数大模型的产品效率工具跃... 阅读全文

来自多伦多大学和Meta的研究团队推出EgoLifter，它是一种先进的计算机视觉技术，专门设计用来理解和分析从个人可穿戴设备（比如智能眼镜）拍摄的视频。这些视频通常是从第一人称视角（也就是“以自我为中心”的视角）拍摄的，因此被称为“egocentric”视频。总的来说，EgoLifter是一个强大的工具，它可以从个人... 阅读全文

Databricks在今天正式发布了全新的开源模型DBRX，这款模型凭借其卓越的性能和前沿的架构设计，有望成为当下最强大的开源模型之一。 模型架构： DBRX采用了132B参数的MoE模型设计，其中包含16个专家。每个Token能够激活4个专家，这意味着在实际运行中，模型有36B的活跃参数。与之相比，Mixtral仅有... 阅读全文

这篇论文探讨了一种针对大型预训练语言模型（LLMs）的简单层剪枝策略。层剪枝是一种模型压缩技术，通过移除神经网络中的一些层来减少模型的大小和计算需求。论文的主要发现是，即使在移除了相当一部分（高达一半）的层之后，模型在不同的问答基准测试上的性能也只有很小的下降。为了修复由于剪枝造成的模型性能损失，研究者们采用了一种称为... 阅读全文

这篇论文介绍了一种针对英特尔数据中心GPU Max 1550优化的多层感知器（MLPs）的SYCL实现。多层感知器是一种人工神经网络，它由多个全连接层组成，每一层中的每个神经元都与相邻层中的所有神经元相连。这种网络结构在机器学习和人工智能领域扮演着重要角色，尤其是在图像处理、自然语言处理和计算机视觉等领域。 GitHu... 阅读全文

上海 AI 实验室与商汤科技联合香港中文大学和复旦大学正式发布新一代大语言模型书⽣·浦语 2.0（InternLM2）。InternLM2 是在 2.6 万亿 token 的高质量语料上训练得到的，沿袭第一代书生·浦语（InternLM）的设定，包含 7B 及 20B 两种参数规格及基座、对话等版本，提供免费商用授权。... 阅读全文

来自罗格斯大学的研究团队推出一个名为AIOS（LLM Agent Operating System）的系统，它是一个专门为大型语言模型（LLM）智能代理设计的操作系统。AIOS的目标是解决LLM代理在集成和部署时遇到的效率和效能问题，例如资源分配不佳、在代理与LLM交互时保持上下文的困难，以及将不同能力和专业领域的异构... 阅读全文

这篇论文的主题是探讨压缩大语言模型（LLMs）的可信度问题。随着技术的进步，大语言模型在处理自然语言方面取得了显著的成就，但它们的规模庞大，对计算资源的需求很高。为了在资源有限的设备上部署这些模型，研究者们采用了压缩技术来减小模型的大小，提高推理效率。然而，这种压缩可能会对模型的安全性和可信度产生影响，这是之前研究中经... 阅读全文

日本乐天集团推出大型日语语言模型RakutenAI-7B，这个模型是由乐天集团开发的，旨在为日语处理提供高性能的自然语言处理（NLP）解决方案。RakutenAI-7B不仅在日语理解基准测试中取得了优异的成绩，而且在英语测试集上也保持了竞争力。总的来说，RakutenAI-7B是一个强大的工具，可以帮助开发者和研究人员... 阅读全文

Stable Code Instruct 3B是一款基于Stable Code 3B进行指令调优的代码语言模型。它借助自然语言提示，能够出色地处理各类任务，如代码生成、数学运算等，以及其他与软件开发相关的查询。 该模型在3B规模上展现了卓越的性能，表现甚至超越了更大规模的模型，如CodeLlama 7B Instruc... 阅读全文

这篇论文介绍了一个名为SiMBA的新型架构，它是一种简化的基于Mamba的架构，用于处理视觉和多变量时间序列数据。SiMBA的核心在于它结合了Mamba块（用于序列建模）和EinFFT（一种新的通道建模技术），以提高处理长序列数据的效率和性能。 主要功能和特点： 高效处理长序列： SiMBA通过使用状态空间模型（SSM... 阅读全文

这篇论文介绍了一个名为InternVideo2的视频基础模型（Video Foundation Model，简称ViFM），这是一个先进的人工智能系统，旨在提高视频理解的能力。InternVideo2通过结合多种学习策略和大量多模态数据，能够更好地理解和处理视频内容。总的来说，InternVideo2是一个强大的多模态... 阅读全文