25位顶尖科学家呼吁管控AI极端风险
在最近的第二届AI安全峰会上，25位世界顶尖的AI科学家在《科学》杂志上联合发表了题为“ManagingextremeAIriskamidrapidprogress”的专家共识文章，呼吁全球领导人对人工智能风险采取更有力的行动。以下是文章的主要内容：

安全性研究严重匮乏

文章指出，虽然各国政府一直在讨论先进AI，并尝试引入初步指导方针，但这与许多专家期望的快速、变革性进展仍有很大差距。目前关于AI安全的研究严重缺乏，只有1%-3%的AI出版物涉及相关安全问题。此外，全球没有适当的机制或机构来防止滥用和鲁莽行为，包括如何使用能独立采取行动和自行实现目标的自治系统。

防范极端风险

文章建议，各国政府需要建立能够快速响应风险的AI监管机构，并为这些机构提供资金支持。AI领域需要更严格的风险评估，并制定可执行的措施，而不是依赖一些不甚明确的模型评估。应要求AI研发企业优先考虑安全性，并证明其系统不会造成伤害。人们还要有一个与AI系统带来的风险水平相称的缓解办法，解决之道是制定一个自动政策，当AI达到某些能力里程碑时自动触发--如果AI发展迅速，这一严格的要求就会自动生效；如果进展缓慢，要求就会相应放宽。

AI系统的潜在风险

AI系统可能会为了实现某个“不良目的”而骗取人类信任、获取资源并影响关键决策者。为了避免人为干预， 它们还可以在全球服务器网络上复制自身算法。在这种情况下，大规模网络犯罪、社会操纵和其他危害会因此迅速升级。而在公开冲突中，AI系统能自主部署各种武器，甚至包括生物武器。因此，当AI的进步不受控制时，很可能最终导致大规模生命损失、生物圈破坏、人类边缘化甚至灭绝。

科技巨头的承诺

值得一提的是，在首尔人工智能峰会上，微软、亚马逊、OpenAI等科技巨头就人工智能安全达成了一项具有里程碑意义的国际协议。这项协议下，许多企业做出承诺，包括发布安全框架，列出衡量潜在风险的方式；一旦发现了这种极端情况，如果不能保证降低风险，企业们就需要打开“紧急停止开关”，叫停AI模型的开发进程。

政府监管的作用

根据作者的说法，对于未来异常强大的人工智能系统，政府必须准备好在监管方面发挥带头作用。这包括：许可这些系统的开发，限制其在关键社会角色中的自主权，停止其开发和部署以应对令人担忧的功能，强制访问控制，以及要求对国家级黑客采取强有力的信息安全措施。
总的来说，随着AI技术的快速发展，全球的风险应对能力似乎并未步入正轨。因此，采取更强有力的行动防范AI风险已经成为当务之急。

本文链接：http://www.suqingjiaoyu.com/content-25-816-1.html