来自穆罕默德·本·扎耶德人工智能大学、澳大利亚国立大学、阿尔托大学、墨尔本大学、林雪平大学的研究人员推出大型多语言多模态模型PALO（Polyglot Large Multimodal Model），PALO的目标是创建一个能够理解和生成多种语言内容的模型，以实现更包容的视语言模型（VLMs）。PALO支持10种主要语言，包括英语、中文、印地语、西班牙语、法语、阿拉伯语、孟加拉语、俄语、乌尔都语和日语，这些语言覆盖了全球约5亿人口（占世界人口的65%）。研究团队采用了一种半自动化翻译方法，将多模态指令数据集从英语翻译成目标语言，以确保语言的高保真度，同时通过最少的人工努力实现可扩展性。
GitHub：https://github.com/mbzuai-oryx/PALO
论文：https://arxiv.org/abs/2402.14818
主要功能：
- 多语言视觉推理：PALO能够在多种语言环境中理解和生成文本，提供跨语言的视觉和语言理解能力。
- 高质量数据集：通过精细调整大型语言模型（LLM）的翻译，生成高质量的多语言数据集。
主要特点：
- 多语言支持：PALO支持10种主要语言，特别关注在当前多模态模型中代表性不足的语言。
- 半自动化翻译：使用大型语言模型进行翻译，并进行人工校正以提高翻译质量。
- 可扩展性：模型训练在不同规模（1.7B、7B和13B参数）上进行，展示了其泛化和可扩展性。
工作原理：
- 使用大型语言模型（如GPT-3.5）进行半自动化翻译，将英语数据集翻译成目标语言。
- 对翻译结果进行人工审核和校正，以确保语言的准确性和文化适应性。
- 使用高质量的多语言数据集对PALO模型进行训练，使其能够在多种语言中进行有效的视觉和语言推理。
具体应用场景：
- 多语言用户交互：PALO可以用于支持多种语言的智能助手，提供跨语言的对话和信息检索服务。
- 教育和翻译：在教育领域，PALO可以帮助学习不同语言的用户，提供视觉辅助和语言学习资源。
- 文化和语言研究：PALO可以用于研究不同语言和文化背景下的视觉和语言模式，促进跨文化理解和交流。
总的来说，PALO是一个创新的多语言多模态模型，它通过结合大型语言模型的翻译能力和人工校正，提供了一个能够理解和生成多种语言内容的强大工具，特别适用于需要跨语言交互和理解的应用场景。
0条评论