清华大学、 香港中文大学、早稻田大学和腾讯人工智能实验室发布新基准测试ChartMimic，它专门用来评估大型多模态模型（LMMs）在将图表转换为代码方面的能力。你是一位物理学家，你有一个关于粒子速度分布的复杂图表，你想将这个图表转换成代码以便在报告中使用。使用ChartMimic，你可以上传这个图表，然后模型会分析图表的视觉元素，理解其结构和数据，并生成相应的Python代码，这样你就可以在你的报告中复现这个图表了。
- 项目主页：https://chartmimic.github.io
- GitHub：https://github.com/ChartMimic/ChartMimic
- 数据集：https://huggingface.co/datasets/ChartMimic/ChartMimic
主要功能：
- 图表理解：LMMs需要理解输入图表的视觉信息。
- 代码生成：根据理解的信息，生成相应的代码来重现图表。
主要特点：
- 多模态输入：ChartMimic使用密集信息的视觉图表和文本指令作为输入。
- 真实用例：包含1000个人工策划的图表、指令和代码三元组，这些代表了在科学论文中发现的真实图表使用案例。
- 多级评估指标：提供自动和全面的输出代码和渲染图表的评估。
工作原理：
- 图表到代码：模型需要将视觉图表的信息转换成可执行的代码。
- 多模态推理：整合视觉理解、代码生成和跨模态推理等高级认知能力。
具体应用场景：
- 科学研究：帮助科学家和研究人员在阅读和编写学术论文时理解、解释和创建图表。
- 数据可视化：在需要将复杂数据以图表形式展现时，ChartMimic可以帮助生成相应的代码。
0条评论