OpenAI于2023年10月为其订阅者推出了ChatGPT搜索工具，声称该工具可以“快速、及时地提供带有相关网页链接的答案”。然而，哥伦比亚大学Tow数字新闻中心的研究人员在测试中发现，ChatGPT搜索在提供真实信息方面存在一些问题，尤其是在正确识别文章中的引文时。（来源）
测试方法与结果
研究人员要求ChatGPT识别来自二十家出版物的两百条引文的来源。其中四十条引文来自禁止OpenAI搜索爬虫访问其网站的出版商。尽管如此，ChatGPT仍然自信地给出了错误信息，很少承认它对所提供细节的不确定性。具体结果如下：
- 错误响应：在153个场合，ChatGPT返回了部分或完全错误的响应。
- 承认不确定性的次数：仅在7次输出中，ChatGPT使用了“似乎”、“可能”或“或许”等限定词，或类似“我无法找到确切文章”的陈述。
- 错误示例：
- 《奥兰多哨兵报》的读者来信：ChatGPT错误地将其归因于《时代》杂志上发表的一篇文章。
- 《纽约时报》关于濒危鲸鱼的文章：ChatGPT返回了一个完全剽窃该故事的不同网站的链接。
OpenAI的回应
面对这些测试结果，OpenAI告诉《哥伦比亚新闻评论》：“没有Tow中心保留的数据和方法，很难解决错误归属问题。”该公司认为这项研究代表了对其产品的非典型测试，并承诺“将继续改进搜索结果”。
问题的根源
ChatGPT搜索工具的问题可能源于以下几个方面：
- 数据源限制：某些出版商禁止OpenAI搜索爬虫访问其网站，导致ChatGPT无法获取最新的或准确的信息。这可能是ChatGPT在处理这些出版物的引文时出现错误的原因之一。
- 模型训练数据的局限性：ChatGPT的训练数据截止到2021年，因此它可能缺乏对最新事件或文章的了解。此外，模型在生成答案时可能会依赖于不完全或过时的信息。
- 引文识别的复杂性：识别引文的来源是一项复杂的任务，尤其是当引文被修改或摘录时。ChatGPT可能在处理这些细微差别时遇到困难，导致错误的归因。
- 过度自信的问题：ChatGPT有时会表现出过度自信，即使在不确定的情况下也会给出明确的答案。这种行为可能会误导用户，尤其是在涉及敏感或重要的信息时。
影响与挑战
ChatGPT搜索工具的这些问题不仅影响了用户获取准确信息的能力，还可能引发信任问题。用户依赖AI工具来获取可靠的信息，但当这些工具频繁提供错误或不准确的答案时，用户的信任度会下降。此外，错误的引文归因可能会导致学术不端或法律问题，特别是在引用来源时。
未来展望
OpenAI已经意识到这些问题，并承诺继续改进搜索结果。为了提高ChatGPT搜索工具的准确性，OpenAI可以采取以下措施：
- 扩大数据源：与更多出版商建立合作关系，确保ChatGPT能够访问更广泛和更新的数据源。
- 改进引文识别算法：开发更先进的算法，以更好地识别和归因引文，特别是在处理复杂或模糊的情况时。
- 增强模型的不确定性感知：训练模型在不确定的情况下更加谨慎地表达其答案，避免过度自信的错误。
- 用户反馈机制：引入用户反馈机制，允许用户报告错误或不准确的信息，帮助OpenAI更快地识别和修复问题。
0条评论