来自谷歌的研究人员发布名为OmniPred的框架，它旨在将语言模型（LMs）训练成通用的端到端回归器，用于处理来自不同现实世界实验的(x, y)评估数据。OmniPred利用谷歌Vizier数据库中的大量黑盒优化数据，展示了仅通过数学参数和值的文本表示，语言模型就能够进行非常精确的数值回归。如果给定机会在多个任务上进行训练，OmniPred可以显著优于传统的回归模型。
GitHub：https://github.com/google-research/optformer/tree/main/optformer/omnipred
论文：https://arxiv.org/abs/2402.14547
主要功能：
- 通用回归：OmniPred能够处理来自不同输入空间和目标尺度的多个任务的回归问题。
- 高精度预测：通过文本表示，OmniPred能够实现高精度的数值预测。
- 多任务学习：OmniPred可以通过在多个任务上同时学习来提高性能，这在许多情况下优于传统的回归模型。
主要特点：
- 约束无关的文本表示：OmniPred基于约束无关的文本表示，适用于一般输入空间。
- 通过文本和基于标记的表示进行训练，能够实现准确的度量预测。
- 通过在多个任务上进行多任务学习，OmniPred可以在许多情况下超越传统的回归模型，如多层感知器（MLPs）和提升树。
工作原理：
- 使用启发式方法选择可能违反策略的候选广告。
- 通过去重、过滤和多样化抽样减少需要LLMs处理的广告数量。
- 使用经过提示工程和参数高效调整的LLMs对代表性广告进行标注。
- 将LLMs标注的标签传播到与已知违规内容相似的广告上。
- 通过反馈循环，将LLMs直接标注和通过标签传播间接标注的图像用于下一轮审核候选选择。
具体应用场景：
- 实验设计：在超参数调整、计算机软件、工业工程和化学发现等多个领域，OmniPred可以用于预测给定输入特征集的系统度量。
- 离线优化：OmniPred可以用于离线优化任务，通过历史数据学习预测模型的性能。
- 在线优化：在需要实时反馈的优化场景中，OmniPred可以提供快速的预测结果。
- 低成本基准测试：OmniPred可以用于评估和比较不同系统或模型的性能，而无需进行完整的实验。
总的来说，OmniPred是一个强大的工具，它利用语言模型的能力，为实验设计和优化提供了一种新的、通用的回归方法。
0条评论