JetBrains Research和代尔夫特理工大学推出新基准测试套件Long Code Arena，它专门设计用来评估和提升代码处理模型在长文本上下文环境中的表现。简单来说，它是一个挑战场，让计算机程序在编写、理解和修复代码时，能够更好地利用整个项目的信息，而不仅仅是单个文件或函数。Long Code Arena的推出，旨在推动机器学习在软件工程领域的应用，特别是在处理长文本上下文方面的能力。通过这些基准测试，研究人员可以更好地评估和改进模型在复杂软件开发任务中的表现。
- Demo：https://huggingface.co/spaces/JetBrains-Research/long-code-arena
例如，你是一名软件开发者，正在处理一个大型项目。这个项目包含了成千上万的文件和代码行。当你需要修复一个错误或者添加一个新功能时，你需要考虑到项目中所有相关的代码和文档。Long Code Arena就是帮助计算机程序在这种情况下更好地理解和生成代码的工具。
主要功能：
- 多任务评估：Long Code Arena包含六种不同的代码处理任务，包括基于库的代码生成、持续集成（CI）构建修复、项目级代码补全、提交消息生成、缺陷定位和模块总结。
- 项目级上下文：与只考虑单个文件或函数的现有基准不同，Long Code Arena要求模型在项目级别上理解和生成代码。
主要特点：
- 全面性：覆盖了从代码生成到修复、补全和总结等多个方面。
- 实用性：设计的任务反映了真实软件开发场景中的常见需求。
- 开放性：提供了开源的基线解决方案和数据集，便于研究者使用和扩展。
工作原理：
- 数据收集：从开源GitHub仓库中收集源代码、提交历史、问题和GitHub Actions的构建数据。
- 任务设计：为每个任务设计了特定的数据集和评估方法，要求模型使用项目模块或整个项目的信息来完成任务。
- 手动验证：为了确保数据质量，所有用于评估的样本都经过了严格的筛选和手动验证。
具体应用场景：
- 代码生成：在给定任务描述和库内容的情况下，生成利用特定库方法的代码文件。
- CI构建修复：生成补丁来修复持续集成过程中的失败构建。
- 项目级代码补全：在项目历史的基础上，完成单行代码的补全。
- 提交消息生成：为大型提交生成自然语言描述的提交消息。
- 缺陷定位：确定需要修改以解决问题的文件列表。
- 模块总结：生成项目模块的自然语言文档。
0条评论