在探索先进语言模型的奇妙世界时，有没有想过亲手调校出专属于自己的智能助手？让《Llama-Recipes》成为你的得力伙伴吧！这不仅是一个资源库，更是通往Meta Llama 3模型定制化与应用创新的大门。🌟 🛠️ 一库在手，调校无忧 Llama-Recipes目的就是让你轻松驾驭Meta Llama模型的调优之旅。想... 阅读全文

亚马逊发布关于如何提高大语言模型（LLMs）在生成文本时的效率和速度的论文。大语言模型是一种人工智能技术，它能够理解和生成人类语言，被广泛应用于各种场景，比如自动翻译、写作辅助、聊天机器人等。但是，这些模型在运行时往往需要大量的计算资源，导致处理速度慢和延迟高，这在实际应用中是个问题。 例如，你是一个客服中心的经理，需... 阅读全文

这篇论文的主题是关于一种新的语言模型推理方法，名为XC-CACHE（Cross-Attending to Cached Context），它旨在提高大型语言模型（LLMs）的推理效率，同时减少所需的缓存空间。这种方法特别适用于需要根据给定的上下文信息来生成回答的场景。 通俗介绍： 想象一下，你有一个非常聪明的AI助手，... 阅读全文

腾讯发布基准测试工具SEED-Bench-2-Plus，它专门用于评估多模态大语言模型（MLLMs）在处理富含文本的视觉内容方面的性能。这类场景在现实世界中非常普遍，例如图表、地图和网页等，它们都包含了大量的文本信息嵌入在图像中。 主要功能和特点： 针对性的评估：SEED-Bench-2-Plus包含2.3K个多项选择... 阅读全文

来自上海人工智能实验室、商汤科技研究院、清华大学、南京大学、复旦大学和香港中文大学的研究人员推出开源多模态大语言模型InternVL 1.5，旨在缩小开源模型与商业专有模型在多模态理解能力方面的差距。多模态大语言模型结合了视觉和语言处理的能力，可以处理包含文本和图像的任务，比如解释图片内容、理解文档中的文本等。 Git... 阅读全文

北京人工智能研究院、中国电信股份有限公司人工智能研究院（TeleAI）和新加坡南洋理工大学计算机科学与工程学院的研究人员推出开源多语言大语言模型Tele-FLM（也称为FLM-2），Tele-FLM在语言理解和生成方面展现了卓越的能力，支持广泛的应用场景。 如果你正在开发一个多语言的聊天机器人，需要它能够理解和回应不同... 阅读全文

Meta推出LayerSkip，它旨在加速大语言模型（LLMs）的推理过程。大语言模型是人工智能领域的一项先进技术，它们能够理解和生成人类语言，广泛应用于自动翻译、文本摘要、问答系统等多种场景。然而，这些模型通常需要大量的计算资源，导致在实际部署时面临高成本和能耗的挑战。 主要功能和特点： 训练时的层dropout和早... 阅读全文

来自西安交通大学、微软和北京大学的研究人员发布关于如何改善大语言模型（LLMs）在处理长文本输入时的信息利用问题的论文，特别是解决所谓的“中间丢失”（lost-in-the-middle）挑战。这个问题指的是模型在处理长文本时，往往不能充分利用文本中间部分的信息。 例如： 假设我们有一个包含数千句子的长文档，我们需要模... 阅读全文

加州大学圣地亚哥分校、微软公司、加州大学圣巴巴拉分校的研究人员推出list items one by one，这是一种提高多模态大语言模型视觉理解能力的新方法，它通过在图像上添加带标签的标记（tags）来增强模型将视觉对象与文本标记关联的能力。例如，我们有一张包含笔记本电脑、椅子、显示器和台灯的办公室照片。使用SoM提... 阅读全文

阿里巴巴发布了首个千亿参数的大模型 Qwen1.5-110B。此前它发布了 0.5B、1.8B、4B、7B、14B 和 72B 不同规模参数的版本。阿里巴巴称，Qwen1.5-110B 模型在基础能力评估中与 Meta-Llama3-70B 相媲美，在 Chat 评估中表现出色，包括 MT-Bench 和 Alpaca... 阅读全文

新型模型“Multi-Head Mixture-of-Experts”（MH-MoE），它是一种稀疏混合专家（Sparse Mixtures of Experts，简称SMoE）模型的改进版本。SMoE模型通过在每个构建模块中包含多个并行前馈神经网络（即专家），并通过路由器有策略地激活特定输入令牌的特定专家，从而在保持... 阅读全文

多模态语言模型Pegasus-1，它专门设计用于理解和交互视频内容，并通过自然语言进行交流。Pegasus-1旨在解决视频数据的独特挑战，例如解释时空信息，以提供对不同长度视频内容的深入理解。Pegasus-1的局限性，包括处理长视频的效率、可能出现的“幻觉”现象、安全和偏见问题，以及未来将增加的聊天功能等。 例如，我... 阅读全文