本周，一封由 11 位 OpenAI 前现任员工和 2 位 DeepMind 前现任员工共同签署的公开信《对先进 AI 发出警告的权利（A Right to Warn about Advanced Artificial Intelligence）》引起了广泛关注。这封信得到了 AI 领域重量级人物的支持，包括“人工智能教父”Geoffrey Hinton、图灵奖得主 Yoshua Bengio，以及 AI 安全专家 Stuart Russell。
信中，签署者表达了对 AI 正面影响的认可，同时也警觉到 AI 可能带来的潜在危机，如加剧不平等、信息操控、失真，乃至失控导致的极端后果。他们指出，尽管这些风险已被业界认知，但现有监督机制不足以应对，特别是考虑到 AI 企业强大的经济诱因可能阻碍有效监管。
特别值得关注的是，AI 公司掌握大量非公开信息，员工作为内部监督的重要力量，却面临发声障碍。为此，公开信呼吁 AI 企业：
-
不应强迫员工签署限制批评的协议； -
建立匿名举报机制，便于向监管机构等报告风险； -
促进开放批评文化，同时保护商业秘密； -
不报复公开揭露风险信息的员工，尤其是其他渠道失效时。
前 OpenAI 员工透露，公司内部存在追求最快推出尖端 AI 产品的文化，忽视潜在风险，并采取措施压制批评声音，包括剥夺离职员工的股权。
该活动的召集人之一是 OpenAI 治理部门的前研究员 Daniel Kokotajlo 于今年 4 月辞职。辞职时遭遇签署噤声协议的压力，否则将失去公司股份，他因此失去对 OpenAI 在安全研究方面承诺的信任。Kokotajlo 及其他签名者强调，AI 系统具有特殊性，其潜在影响深远且未知，且目前监管不足，主要依靠企业自律。他们认为，压制研究人员的声音和担忧，将危害公众获取必要预警的能力。
他称，尽管 OpenAI 已与微软联合开展“部署安全委员会”等安全协议，旨在公开发布新 AI 模型之前进行重大风险审查，但并没有因此减慢新产品的发布速度。与投入更多时间和资源用来防范人工智能潜在风险相比，OpenAI 仍在急于改进模型并进行商业化推广。
微软甚至两年前在印度悄悄测试 Bing 搜索引擎包含未发布 GPT-4 的新版本，引发了一些搜索引擎对用户行为异常的报告。OpenAI 原本不知道最先进大语言模型被投入测试，知道后也没有阻止微软更广泛地推出该产品。不过，OpenAI 发言人对上述说法提出异议。
对此，OpenAI 回应表示，公司致力于开发强大且安全的人工智能系统，并认同该领域需要深入讨论。它重申了与各利益相关方合作的承诺，以及对内部风险管理程序的信心。
总计 13 名签署者中，包括 7 名 OpenAI 前员工、4 名在职员工、1 名 DeepMind 前员工和 1 名在职员工，他们共同呼吁为 AI 技术的发展引入更多透明度与责任。
以下是公开信全文翻译：
我们是 AI 行业的在职和前任员工，我们对人工智能技术造福人类的能力充满信心。
同时，我们清楚这些技术可能带来的严重风险，包括加剧社会不公、信息操控与误导，乃至于自主 AI 系统的失控可能导致人类灭绝的风险。全球的人工智能企业 [1, 2, 3]、各国政府 [4, 5, 6] 以及众多 AI 领域的专家 [7, 8, 9] 都已经意识到这些问题。
我们乐观地认为，只要科学界、政策制定者和公众给予足够的指导，这些风险是可以得到有效控制的。然而，人工智能企业往往因财务利益而规避有效监管，我们认为单靠企业内部治理结构改革是不够的。
这些公司拥有大量关于其系统性能、局限性、安全措施的充分性以及潜在风险级别的非公开信息。但目前，他们仅有义务向政府透露部分信息，对民间团体则没有任何分享义务。我们认为不能依赖他们自愿分享这些信息。
在缺乏有效政府监管的情况下，我们这些现任和前任员工是少数能够确保企业对公众负责的人。但是，广泛的保密协议限制了我们发声的自由，尤其是当这些问题可能正是那些未能妥善解决的企业所忽视的。普通的举报者保护措施并不足以保护我们，因为它们主要针对非法行为，而我们所关心的许多风险尚未被法规覆盖。鉴于行业内类似案例的历史，我们中的一些人担心会遭受各种形式的报复。我们并非首个遇到或提出这些问题的人。
因此，我们呼吁开发高级 AI 的企业承诺遵循以下原则：
-
公司不得签订或执行任何禁止因风险相关担忧而批评公司的协议，也不得因此类批评而报复，损害员工的既得经济利益； -
公司应建立一个可验证的匿名流程，让现任和前任员工能够向公司董事会、监管机构和具有相关专业知识的独立组织提出风险相关的担忧； -
公司应培养开放批评的文化，允许员工在保护商业机密和其他知识产权的前提下，向公众、公司董事会、监管机构或具有相关专业知识的独立组织公开表达对其技术风险的担忧； -
公司不得因员工在其他途径失败后公开分享风险相关的保密信息而进行报复。我们认同，在向公司董事会、监管机构和具有相关专业知识的独立组织建立了适当的匿名问题上报流程后，应首先通过这一流程提出问题。然而，只要这样的流程尚不存在，员工应保留向公众报告他们担忧的自由。
签名人（按字母顺序）：
-
Jacob Hilton, 前 OpenAI -
Daniel Kokotajlo, 前 OpenAI -
Ramana Kumar, 前 Google DeepMind -
Neel Nanda, 现 Google DeepMind, 前 Anthropic -
William Saunders, 前 OpenAI -
Carroll Wainwright, 前 OpenAI -
Daniel Ziegler, 前 OpenAI -
Anonymous, 现 OpenAI -
Anonymous, 现 OpenAI -
Anonymous, 现 OpenAI -
Anonymous, 现 OpenAI -
Anonymous, 前 OpenAI -
Anonymous, 前 OpenAI
支持人（按字母顺序）：
-
Yoshua Bengio -
Geoffrey Hinton -
Stuart Russell
2024 年 6 月 4 日
1、OpenAI：“通用人工智能（AGI）可能带来滥用、严重事故和社会混乱等重大风险……我们将其视为可能威胁到人类生存的风险。”
2、Anthropic：“如果我们开发的 AI 系统比人类专家更有能力，但它的目标与我们的最佳利益相冲突，可能会导致灾难性后果……快速的 AI 发展可能会破坏就业市场、宏观经济和权力结构……我们已经遇到了诸如毒性、偏见、不可靠性和欺诈等问题。”
3、Google DeepMind：“未来的 AI 系统可能发动网络攻击、通过对话欺骗人们、操纵人们做出有害行为、甚至开发生物或化学武器……由于目标不一致，这些 AI 模型可能会在无人故意的情况下采取有害行动。”
4、美国政府：“不负责任的使用可能会加剧诸如欺诈、歧视、偏见和虚假信息等社会问题；使工人失业和失去权力；抑制市场竞争；并威胁国家安全。”
5、英国政府：“[AI 系统]也可能使权力过度集中在少数人手中，或被恶意利用来破坏社会信任，损害公共安全，或威胁国际安全……[AI 可能被滥用]来制造虚假信息，发动复杂的网络攻击或帮助开发化学武器。”
6、布莱切利宣言（29 个国家代表）：“我们特别关注网络安全和生物技术等领域的这些风险……存在造成严重甚至灾难性伤害的可能性。”
7、FAccT 上的 AI 危害和政策声明（250 多个签署者）：“从可能导致生命救治机会被剥夺的不准确或有偏见的算法，到语言模型加剧的操纵和错误信息……”
8、Encode Justice 和未来生命研究所：“我们正面临由 AI 带来的具体且广泛的挑战，如算法偏见、虚假信息、民主的侵蚀和劳动力的替代。同时，我们也站在由日益强大的系统带来的更大规模风险的边缘。”
9、CAIS 上的 AI 风险声明（1,000 多个签署者）：“降低 AI 带来的灭绝风险应该与其他社会规模风险，如大流行病和核战争一样，成为全球的优先事项。”
对于这封公开信，OpenAI 发布声明，强调该致力于提供功能强大且安全的人工智能系统。OpenAI 公司官方声明内容如下：
*我们为自己能提供能力最强、最安全的人工智能系统而感到自豪，并坚信我们能以科学的方法应对风险。
鉴于 AI 技术的重要性，我们认同公开信中的内容，如何通过严肃的讨论，对于更好推进 AI 技术发展至关重要。
我们将继续接触各国政府、民间社会和世界各地的其他社区，共同营造和谐的 AI 环境。
包括匿名诚信热线、由董事会成员和公司安全领导者参与的安全与安保委员会（ Safety and Security Committee）在内，都是监管 AI 的有效手段。*
0条评论