腾讯发布论文探讨关于大型语言模型（LLMs）的量化方法，特别是针对那些拥有数十亿甚至更多参数的模型。简单来说，模型量化是一种减小模型大小和计算成本的技术，使模型能够在资源有限的设备上运行，例如手机或嵌入式设备。 想象一下，你有一个超级大的食谱书，里面有上亿种不同的菜式，但你只需要其中的一部分。如果你能把这本书压缩，只保... 阅读全文

来自香港中文大学、微软亚洲研究院、深圳研究院 大数据研究所的研究人员推出MathScale，它旨在提高大语言模型（LLMs）在解决数学问题方面的能力。尽管LLMs在解决问题方面表现出色，但在处理数学问题时仍然存在不足。MathScale通过使用前沿的LLMs（如GPT-3.5）来创建高质量的数学推理数据集，从而解决了这... 阅读全文

LLaVA-HR（LLaVA High-Resolution）是一个经过改进的多模态大语言模型（MLLM），它专门设计来处理高分辨率图像，以提高在视觉和语言任务上的性能。这个模型是基于LLaVA-1.5的架构，通过引入Mixture-of-Resolution Adaptation (MRA) 技术，使得模型能够更有效... 阅读全文

来自滑铁卢大学和亚马逊AWS人工智能实验室的研究人员推出MAGID（Multimodal Augmented Generative Images Dialogues）框架，它是一个自动化流程，用于生成合成的多模态（文本和图像）对话数据集。这个框架的目的是为了解决在开发多模态交互系统时，缺乏丰富、多模态（文本、图像）对话... 阅读全文

来自华盛顿大学和谷歌的研究人员推出Modeling Collaborator框架，它是一个创新的工具，旨在帮助人们以最小的努力训练视觉模型来识别复杂或主观的视觉概念。在日常生活中，我们经常需要计算机视觉系统来识别图片中的内容，比如区分美食、艺术品或者判断某个场景是否安全。但是，传统的训练方法需要大量的手动标注工作，这既... 阅读全文

来自复旦大学和腾讯的研究人员推出MovieLLM框架，它旨在通过GPT-4生成的电影相关的合成数据（包括剧本、关键帧图像等）来训练多模态大型语言模型。这些模型经过训练后，能够更好地理解和处理长视频内容。简单来说，MovieLLM创建了一种模拟电影内容的数据集，这些数据集被用来训练AI模型，使其能够更好地理解和回答关于长... 阅读全文

Anthropic在今天发布了其创新的Claude 3系列大语言模型（LLM），为各种认知任务设定了新的性能标准。该系列包含三个子模型：Claude 3 Haiku、Claude 3 Sonnet和Claude 3 Opus，它们为用户提供了不同的智能、速度和成本选择，以满足多样化的人工智能应用需求。 卓越性能：超越G... 阅读全文

Meta推出新型自监督学习方法Image World Models（IWM），它通过学习一个世界模型来理解和预测图像的变化。想象一下，你有一个智能相机，它不仅能拍摄照片，还能理解照片中的内容，并预测如果对照片进行某些修改（比如改变亮度或对比度），照片会变成什么样子。IWM就是这样一个系统，它可以帮助计算机更好地理解和处... 阅读全文

来自蒙特利尔大学、魁北克人工智能研究所、华为诺亚方舟实验室的研究人员发布论文介绍了一种名为RESONANCE RoPE（共振旋转位置编码）的技术，它旨在改善大语言模型（LLMs）在处理长文本时的性能。在训练时，模型通常处理较短的文本序列，但在实际应用中可能需要处理更长的文本，这就是所谓的“训练短-测试长”（TSTL）场... 阅读全文

Google DeepMind发布论文介绍了一种名为AtP*（Attribution Patching*）的高效且可扩展的方法，用于定位大语言模型（LLM）中特定行为的组件。想象一下，你有一个非常复杂的机器，比如一个巨大的乐高城堡，你想知道城堡中的哪个部分（比如哪个乐高积木）对于城堡的某个特定功能（比如开门）至关重要。... 阅读全文

非盈利机构 AllenAI 正式推出完全开源的大语言模型 OLMo，此次开源不仅有模型还包括完整的训练代码、数据集和评估代码，官方宣布通过开放研究来加速语言模型科学的发展。首次发布的内容包括四个参数规模达到 70 亿的语言模型，这些模型具有不同的架构、优化器和训练硬件，另外还有一个参数规模为 10 亿的模型。所有这些模... 阅读全文

苹果用户目前可以iMessage里可以直接跟Pi聊天，省去了下载应用这一步，苹果手机打开这个网址即可聊天：https://pi.ai/imessage  ，它支持中文哦！Pi 由谷歌 DeepMind 联合创始人 Mustafa Suleyman 与 LinkedIn 联合创始人兼投资人 Reid Hoffman 创办... 阅读全文