随着市场上免费的国产大模型增多，用户面临的一个问题是不同平台的API接口差异和繁琐的统计、流量、计费等问题。simple-one-api应运而生，旨在提供一个统一的解决方案。 项目目标 解决不同平台API的兼容性问题 去除统计和计费等复杂性 方便用户集成和调用多种大模型 主要特点 对接讯飞星火、百度千帆、腾讯混元等免费... 阅读全文

腾讯今日正式推出了基于混元大模型的全新AI助手App——“腾讯元宝”。这款应用集AI搜索、AI总结、AI写作等功能于一身，致力于为用户提供前所未有的智能体验。腾讯元宝的亮点在于其卓越的解析能力。无论是微信公众号链接、网址，还是PDF、Word、txt等格式文档，它都能一次性进行深度解析。超长的上下文窗口设计，让复杂信息... 阅读全文

这篇论文的主题是关于一种新型的深度学习模型参数预测方法，称为LOGAH（Low-rank GrAph Hypernetworks），它用于初始化大型深度学习模型，特别是拥有数亿参数的Transformer模型，如视觉Transformer（ViT）和生成式预训练Transformer（GPT-2）。这种方法旨在帮助研究... 阅读全文

威斯康星大学麦迪逊分校和微软的研究人员推出大型多模态模型M3（Matryoshka Multimodal Models）。这种模型的设计灵感来源于俄罗斯套娃（Matryoshka Dolls），它能够将视觉内容表示为嵌套的视觉标记（tokens），这些标记在不同的粗糙到精细的粒度级别上捕捉信息。例如，你正在开发一个自动... 阅读全文

麻省理工学院推出新技术Trans-LoRA，它是一种用于大语言模型（LLMs）的参数高效微调（PEFT）方法。Trans-LoRA的核心目标是在不访问原始训练数据的情况下，实现低秩适配器（LoRA）模型在不同基础模型之间的无损转移。这项技术为大型模型的迁移和微调提供了一种高效、实用且几乎不需要数据的方法，极大地方便了模... 阅读全文

这篇论文的主题是介绍和探讨视觉-语言模型（Vision-Language Models，简称VLMs）。这类模型旨在将视觉信息（如图像）与语言信息（如文字描述）结合起来，以实现更丰富的人工智能应用。简单来说，VLMs就是教会计算机如何“看图说话”和“按文索骥”。 主要功能： 图像与文本的联合表示： VLMs能够理解图像... 阅读全文

Zyphra推出新型人工智能语言模型Zamba，Zamba是一个7亿参数（7B SSM）的混合模型，它结合了SSM（State Space Model，状态空间模型）和Transformer的特点，旨在提供与大型开放模型相媲美的性能，同时在参数成本上保持较低的水平。论文还讨论了Zamba与其他模型的比较，以及它在不同基... 阅读全文

马里兰大学、劳伦斯利弗莫尔国家实验室、蒂宾根埃利斯研究所、马克斯·普朗克智能系统研究所、图宾根人工智能中心和卡内基梅隆大学的研究人员发布论文，论文的主题是关于如何让一种名为“Transformer”的人工智能模型更好地执行数学运算，特别是大数字的加法。Transformer模型在处理语言和生成代码方面已经取得了很大进步... 阅读全文

俄亥俄州立大学 和卡内基梅隆大学的研究人员发布论文探讨了transformers，这是一种在自然语言处理（NLP）领域广泛使用的模型，是否能够学习隐式推理（implicit reasoning），即在没有明确指导的情况下对知识进行推理。隐式推理是一种能力，它允许模型在面对新的、未见过的情况时，能够运用已有的知识来做出合... 阅读全文

阿里推出一种新型的数据混合策略BIMIX（Bivariate Scaling Law for Language Model Pretraining），旨在提高语言模型预训练的效率。BIMIX的核心思想是通过精确地量化数据量和混合比例对模型性能的影响，来优化数据混合，从而提升训练效率和模型的泛化能力。 主要功能： 数据混... 阅读全文

Cohere推出多语言语言模型家族Aya 23，Aya 23基于Aya模型的最新发布，并结合了最近发布的Aya集合，旨在创建一个强大的多语言大型语言模型，服务于23种语言，将最先进的语言建模能力扩展到全球大约一半的人口。与之前的Aya 101模型涵盖101种语言不同，Aya 23是一次关于深度与广度的实验，探索在预训练... 阅读全文

苹果推出去噪语言模型DLM（Denoising Language Model），用于提高自动语音识别（ASR）系统性能的新技术。DLM的核心思想是，通过训练一个模型来纠正ASR系统产生的错误，而不是仅仅重新排列ASR系统已经生成的假设（这是传统语言模型LM的做法）。 主要功能： 错误纠正：DLM专门设计用来修正ASR系... 阅读全文