LLaVA-HR（LLaVA High-Resolution）是一个经过改进的多模态大语言模型（MLLM），它专门设计来处理高分辨率图像，以提高在视觉和语言任务上的性能。这个模型是基于LLaVA-1.5的架构，通过引入Mixture-of-Resolution Adaptation (MRA) 技术，使得模型能够更有效... 阅读全文

来自滑铁卢大学和亚马逊AWS人工智能实验室的研究人员推出MAGID（Multimodal Augmented Generative Images Dialogues）框架，它是一个自动化流程，用于生成合成的多模态（文本和图像）对话数据集。这个框架的目的是为了解决在开发多模态交互系统时，缺乏丰富、多模态（文本、图像）对话... 阅读全文

来自华盛顿大学和谷歌的研究人员推出Modeling Collaborator框架，它是一个创新的工具，旨在帮助人们以最小的努力训练视觉模型来识别复杂或主观的视觉概念。在日常生活中，我们经常需要计算机视觉系统来识别图片中的内容，比如区分美食、艺术品或者判断某个场景是否安全。但是，传统的训练方法需要大量的手动标注工作，这既... 阅读全文

来自复旦大学和腾讯的研究人员推出MovieLLM框架，它旨在通过GPT-4生成的电影相关的合成数据（包括剧本、关键帧图像等）来训练多模态大型语言模型。这些模型经过训练后，能够更好地理解和处理长视频内容。简单来说，MovieLLM创建了一种模拟电影内容的数据集，这些数据集被用来训练AI模型，使其能够更好地理解和回答关于长... 阅读全文

Anthropic在今天发布了其创新的Claude 3系列大语言模型（LLM），为各种认知任务设定了新的性能标准。该系列包含三个子模型：Claude 3 Haiku、Claude 3 Sonnet和Claude 3 Opus，它们为用户提供了不同的智能、速度和成本选择，以满足多样化的人工智能应用需求。 卓越性能：超越G... 阅读全文

Meta推出新型自监督学习方法Image World Models（IWM），它通过学习一个世界模型来理解和预测图像的变化。想象一下，你有一个智能相机，它不仅能拍摄照片，还能理解照片中的内容，并预测如果对照片进行某些修改（比如改变亮度或对比度），照片会变成什么样子。IWM就是这样一个系统，它可以帮助计算机更好地理解和处... 阅读全文

来自蒙特利尔大学、魁北克人工智能研究所、华为诺亚方舟实验室的研究人员发布论文介绍了一种名为RESONANCE RoPE（共振旋转位置编码）的技术，它旨在改善大语言模型（LLMs）在处理长文本时的性能。在训练时，模型通常处理较短的文本序列，但在实际应用中可能需要处理更长的文本，这就是所谓的“训练短-测试长”（TSTL）场... 阅读全文

Google DeepMind发布论文介绍了一种名为AtP*（Attribution Patching*）的高效且可扩展的方法，用于定位大语言模型（LLM）中特定行为的组件。想象一下，你有一个非常复杂的机器，比如一个巨大的乐高城堡，你想知道城堡中的哪个部分（比如哪个乐高积木）对于城堡的某个特定功能（比如开门）至关重要。... 阅读全文

非盈利机构 AllenAI 正式推出完全开源的大语言模型 OLMo，此次开源不仅有模型还包括完整的训练代码、数据集和评估代码，官方宣布通过开放研究来加速语言模型科学的发展。首次发布的内容包括四个参数规模达到 70 亿的语言模型，这些模型具有不同的架构、优化器和训练硬件，另外还有一个参数规模为 10 亿的模型。所有这些模... 阅读全文

苹果用户目前可以iMessage里可以直接跟Pi聊天，省去了下载应用这一步，苹果手机打开这个网址即可聊天：https://pi.ai/imessage  ，它支持中文哦！Pi 由谷歌 DeepMind 联合创始人 Mustafa Suleyman 与 LinkedIn 联合创始人兼投资人 Reid Hoffman 创办... 阅读全文

🌟 Vercel宣布推出其AI SDK 3.0，这次更新带来了令人瞩目的新功能！除了继续支持Vercel v0的生成UI，AI SDK 3.0还引入了LLM（大语言模型）的支持，让开发者能够轻松实现搜索、任务规划等模块。 🚀 在AI SDK 3.0中，你可以调用多种先进的模型，包括Mistral、Azure、Perpl... 阅读全文

华南理工与合合信息团队联合发布了一篇深度解析论文，聚焦大语言模型（LLM）所需的数据集现状与发展趋势。他们从五大关键方面梳理了LLM数据集资源： 1️⃣ 预训练语料库：奠定LLM语言学习基础的大规模文本集合。 2️⃣ 指令微调数据集：专门针对LLM进行任务导向性优化的关键数据源。 3️⃣ 偏好数据集：关乎用户需求、道德... 阅读全文