来自康奈尔大学、普林斯顿大学和微软的研究人员推出新的强化学习算法数据集重置策略优化（Dataset Reset Policy Optimization，简称DR-PO），主要用于从人类偏好反馈中微调生成模型，例如GPT-4和Claude3 Opus等。这种算法特别适用于当人类标注者提供基于偏好的反馈（例如，对一个强化学习代理生成的结果进行排名）时。
主要功能和特点：
- 数据集重置： DR-PO算法利用了重置的概念，即可以直接从离线数据集中的状态开始策略优化和数据收集，而不是总是从初始状态开始。
- 理论保证： 论文证明了DR-PO在有限的样本复杂度下，能够学习到至少与离线数据集中任何被覆盖的策略一样好的表现。
- 计算可行性： 该算法只要求监督学习风格的预言器，如最大似然估计（MLE）预言器和最小二乘回归预言器，因此在计算上是可行的。
工作原理：
- 离线偏好数据集： 首先，使用人类标注者提供的偏好数据集来学习一个奖励模型。
- 在线策略训练： 然后，通过在线强化学习（如近端策略优化PPO）来优化学习到的奖励模型。
- 集成离线数据： 在收集在线数据时，DR-PO会将策略优化器重置到离线数据集中的状态，而不是从初始状态开始探索。
具体应用场景：
- 文本生成： DR-PO可以用于优化文本生成模型，如在给定提示下生成更符合人类偏好的文本。
- 游戏AI： 在游戏环境中，可以通过玩家的偏好反馈来微调AI玩家的行为，使其表现得更像人类玩家。
- 机器人学习： 在机器人学习中，可以通过人类的偏好反馈来指导机器人执行更自然、更符合人类期望的动作。
总的来说，DR-PO算法通过结合离线人类偏好数据和在线强化学习的优势，提供了一种有效的方法来微调生成模型，使其生成的结果更符合人类的期望和偏好。
0条评论