来自上海人工智能实验室、华东师范大学、普林斯顿大学、香港大学的研究人员推出智能代理框架OS-Copilot，它旨在构建能够与操作系统（OS）中各种元素交互的通用计算机代理。这些代理能够处理网络、代码终端、文件、多媒体以及各种第三方应用程序。OS-COPILOT框架的核心是创建了一个名为FRIDAY的自改进实体代理，用于自动化一般的计算机任务。FRIDAY在GAIA（一个通用AI助手基准测试）上的表现超过了以往的方法，展示了通过之前任务积累的技能对未见应用程序的强大泛化能力。
OS-Copilot能够自我学习和改进，处理各种操作系统级别的任务。包括但不限于文件管理、数据处理、环境设置、多媒体操作、网页浏览、代码编写、第三方应用交互、自动化测试等。OS-Copilot为Linux和MacOS提供了一个通用接口，整合了常见的操作系统操控实践，如Python代码解释器、bash终端、鼠标/键盘控制和API调用。
项目主页：https://os-copilot.github.io
GitHub地址：https://github.com/OS-Copilot/FRIDAY
论文地址：https://arxiv.org/abs/2402.07456
研究人员基于OS-Copilot框架创建的一个实例或具体化代理：FRIDAY代理FRIDAY能够从图片、视频或者文本中学习，并且能够执行一系列的计算机任务，比如在Excel中绘图，或者创建一个网站。最重要的是，FRIDAY能够通过做任务来学习新的技能，就像人类一样，通过不断的尝试和练习变得更擅长。
主要功能和特点包括：
- 通用操作系统交互：FRIDAY能够与Linux和MacOS上的多种应用程序进行交互。
- 自改进能力：FRIDAY具备自我改进的能力，可以通过自我指导学习来控制不熟悉的应用程序。
- 自我指导学习：FRIDAY能够自主提出关于不熟悉应用程序的任务课程，并通过解决这些任务来学习如何控制这些应用程序。
- 高性能：在GAIA基准测试中，FRIDAY在最简单的任务级别上取得了40.86%的成功率，显著优于其他系统。
工作原理：
- 用户向FRIDAY提出一个任务请求。
- FRIDAY的规划器（Planner）将复杂任务分解为更简单的子任务。
- 配置器（Configurator）根据子任务配置所需的工具和知识。
- 执行器（Actor）执行配置好的操作，并在操作系统中执行。
- 批评家（Critic）评估执行结果，如果任务未成功完成，会提供反馈并进行自我修正。
具体应用场景：
- 自动化办公：FRIDAY可以帮助用户自动化日常的办公任务，如准备工作环境、计算和绘制Excel图表、创建网站等。
- 学习新技能：FRIDAY可以通过自我指导学习来掌握新技能，例如学习如何使用特定的软件工具或编程语言。
- 跨平台任务执行：FRIDAY能够在不同的操作系统和应用程序之间执行任务，提供跨平台的自动化解决方案。
OS-COPILOT框架和FRIDAY代理为未来研究更智能、更通用的计算机代理提供了基础设施和见解。
0条评论