威斯康星大学麦迪逊分校和华盛顿大学西雅图分校的研究人员发布论文，论文的主题是关于人工智能（AI）在幽默创作领域的研究，特别是针对卡通漫画的标题生成。研究人员通过收集和分析大量的人类对漫画标题的评价，来训练和评估AI模型在创作幽默标题方面的能力。
例如，《纽约客》杂志发布了一幅漫画，展示了一个穿着宇航服的骑士骑着马，手持带有交通灯的长矛，后面跟着一排商人。AI模型的任务是为这幅漫画生成一个幽默的标题。通过分析人类对不同标题的评价，AI学习到什么样的标题更可能被认为是幽默的，并尝试生成能够引起人类共鸣的标题。例如，人类可能会为这幅漫画创作标题：“即使穿越星系，我们仍需导航！”而AI生成的标题可能是：“让我们先去美食广场，我渴望尝试一些木星薯条！”通过比较人类和AI生成的标题，研究人员可以评估AI在幽默创作方面的能力。
主要功能：
- 数据集构建：创建了一个包含超过2.2百万个标题和2.5亿人类评分的多模态偏好数据集。
- 模型评估：提出了新的评估标准，用以评价AI生成的幽默标题的质量。
主要特点：
- 大规模众包数据：数据集来源于《纽约客》杂志每周的漫画标题比赛，涵盖了过去八年的数据。
- 多模态评估：不仅考虑了文本数据，还考虑了图像数据，以更全面地评估幽默感。
工作原理：
- 数据收集：通过众包的方式收集人类对漫画标题的评分。
- 模型训练：使用收集到的数据训练大型语言模型（LLMs），使其能够生成幽默的标题。
- 评估策略：利用GPT4等先进系统和人类判断来建立基于排名的评估策略。
具体应用场景：
- 漫画标题生成：AI模型可以根据漫画图片生成幽默的标题，参加《纽约客》的漫画标题比赛。
- 幽默内容创作：在需要幽默元素的内容创作领域，如广告、社交媒体、娱乐产业等，AI可以辅助或自动生成幽默内容。
论文通过实验结果指出了当前微调方法（如RLHF和DPO）在创造性任务上的限制，并展示了即使是最先进的模型（如GPT4和Claude）在生成幽默标题方面也尚未超越顶尖的人类参赛者。最后，研究者将整个偏好数据集公开给研究社区，以促进AI幽默生成和评估的进一步发展。
0条评论