上海市人工智能实验室和上海交通大学的研究人员推出新型公式识别评估指标CDM，这个指标的目的是为了更公平、准确地评估数学公式识别模型的性能。例如，你有一个数学公式 ，并且你使用了一个公式识别模型来识别这个公式。模型可能以不同的LaTeX代码表示这个公式，例如 。使用传统的BLEU或编辑距离评估，可能会因为代码的不同而给出较低的分数，尽管它们在视觉上是相同的。CDM通过将这些LaTeX代码渲染成图像，并比较图像中的每个字符和位置，能够更准确地评估这两个公式实际上是相同的，从而给出更高的分数。
- GitHub：https://github.com/opendatalab/UniMERNet/blob/main/cdm/README-CN.md
- Demo：https://huggingface.co/spaces/opendatalab/CDM-Demo
主要功能和特点：
- 图像级评估：CDM通过将预测和真实的LaTeX公式都渲染成图像，然后进行视觉特征提取和定位技术，实现精确的字符级匹配，考虑到了空间位置信息。
- 提高评估准确性：相比于传统的基于文本的BLEU和编辑距离（Edit Distance）指标，CDM能够更准确地反映公式识别的质量。
- 公平性：CDM减少了训练和测试数据分布不一致时可能带来的评估偏差，允许在不同模型之间进行更公平的比较。
工作原理：
CDM的工作流程包括以下几个阶段：
- LaTeX源码标准化：将预测和真实的LaTeX公式代码标准化，分解成单独的标记（tokens）。
- 元素区域定位：通过渲染并二值化公式图像，提取每个元素的边界框。
- 元素区域匹配：使用二分图匹配方法，将预测元素与真实元素进行配对。
- 无效匹配排除：通过标记一致性检查和位置关系一致性检查，排除不匹配的元素对。
- 指标计算：使用F1分数和ExpRate@CDM来评估匹配的准确性。
具体应用场景：
- 文档分析：在处理包含复杂数学公式的科学文档时，CDM可以用来评估自动识别公式的准确性。
- 教育工具：在自动评分系统或者在线教育平台中，CDM可以帮助评估学生输入的数学公式是否正确。
- 科研辅助：在科研领域，CDM可以用于评估自动从论文中提取公式的准确性，从而辅助文献综述或数据分析。
总的来说，CDM提供了一种更符合人类直观判断的评估方式，有助于推动公式识别技术的发展和应用。
0条评论