阿里巴巴、香港中文大学、香港感知与交互智能研究中心和北京航空航天大学的研究人员推出新型框架LLaVA-MoD，通过专家混合（MoE）知识蒸馏技术使大型多模态语言模型（MLLM）变得小型化。简单来说，LLaVA-MoD的目标是让一个小型的多模态语言模型通过学习大型模型的知识，来提高自己的理解和生成能力，同时保持较低的计算成本。例如，如果用户上传一张猫咪坐在桌子上的图片，并问“图片中的猫咪在做什么？”LLaVA-MoD能够理解图片内容并回答“猫咪正坐在那里看着镜头。”通过这种方式，LLaVA-MoD能够在资源受限的环境中，如移动设备上，提供高性能的多模态理解和生成能力。
- 论文：https://arxiv.org/abs/2408.15881
- GitHub：https://github.com/shufangxun/LLaVA-MoD
主要功能：
- 知识蒸馏：LLaVA-MoD通过从大型模型中提取知识，使得小型模型能够模拟大型模型的行为，提高其性能。
- 多模态理解：框架能够处理和理解图像和文本信息，适用于需要同时理解视觉和语言的任务。
主要特点：
- 稀疏混合专家（MoE）架构：通过集成MoE架构，小型模型能够在保持计算效率的同时，捕获和表示复杂的多模态信息。
- 渐进式知识转移策略：框架采用了从模仿到偏好优化的知识转移过程，先让小型模型模仿大型模型的输出，然后通过偏好优化进一步提升模型的判断能力。
工作原理：
- 初始化：通过适配器将视觉编码器与语言模型对齐，初始化一个密集的学生模型。
- 模仿蒸馏：学生模型学习模仿教师模型的输出分布，分为密集到密集和密集到稀疏两个阶段。
- 偏好蒸馏：利用教师模型作为参考，学生模型学习如何更好地区分好的和不好的例子，以减少错误信息的生成。
具体应用场景：
- 图像描述：给定一张图片，模型能够生成描述图片内容的句子。
- 视觉问答：对于关于图像的问题，模型能够提供准确的答案。
- 多模态对话：在对话中结合视觉和文本信息，提供更丰富的交互体验。
- 文档分析：处理包含文本的图像，如发票、表格等，提取和理解其中的信息。
0条评论