2018年9月14日，第十届天翼智能生态产业高峰论坛举行 ，现场出现约2米高的巨型智能机器人，一名女市民主动和机器人握手。图/IC photo

最近，以ChatGPT为代表的生成式人工智能与大规模语言模型风靡一时。它们如同大型魔幻表演中冲出舞台的高速过山车，使人们陷于地平线翻转般的眩晕之中，面对这些似乎日益逼近人类水平的智能系统，竟不知该惊呼还是哀嚎。

在GPT4诞生两周之际，日前一篇关于GPT4已点燃通用人工智能火花的论文热度未减，图灵奖得主约书亚·本吉奥、计算机科学家斯图尔特·罗素以及特斯拉创始人马斯克等千余名业界人士则站出来指出，鉴于最近几个月来人工智能领域已陷入一场几近失控的竞赛，巨型AI研究是时候按下暂停键。

在宇宙学家泰格马克等人创办的未来生命研究所网站上，他们贴出了一封呼吁暂停训练比GPT4更强大的AI系统的公开信。公开信指出，大量研究表明并得到顶级 AI 实验室的认可，具有人类竞争智能的 AI 系统可能对社会和人类构成深远的风险。

其指导思想源于21世纪以来，科技与人类未来研究的基本理念，即人类开发出的前沿科技日益具有造成人类生存风险的颠覆性影响，人类一方面要以科技赋能社会，但同时也要对过度的科技赋能带来的不可逆风险保持高度警惕。

正因如此，几乎与深度学习带来的这波人工智能热潮同步建立的未来生命研究所，将其宗旨设定为“引导变革性技术造福于生活，远离极端的大规模风险”。

相称性治理思想没有得到认真对待

实际上，2017年初，在阿西洛马召开的“有益人工智能”会议上，2000余位业界人士和学者就曾联合签署过包括23条倡议的Asilomar AI 原则。

其指导思想是，面对超级智能及其对地球生命史可能带来的深刻变化，要构建对人类有益的智能而不是无序的智能，必须在规划和管理上投入与这种超强的创新相对应的资源和关注力，对于人工智能可能造成的灾难性和生存风险，必须付出与其可能造成的影响相称的努力。

自那时以来，尽管世界上相继出台了一百多部人工智能原则和文件，但现在看来，这些原则及其背后的相称性治理的思想并没有得到认真对待。

根据英国《金融时报》的最新报道，尽管生成式和对话式人工智能的兴起，使得人工智能研究与应用的伦理风险日益凸显，微软、亚马逊和谷歌等大型科技公司近来却在裁减人工智能伦理方面的人员，难免加剧人们对相关创新和应用的安全风险的担忧。

或许是了解人类即便意识到巨大的生存风险依然言行不一的痼疾，这封公开信采用了两个策略。

一是诉诸人类未来的命运，对人工智能可能胜过人类智能的历史临界点的人类命运，进行了追问。公开信甚至用了扪心自问这种情绪化表述：我们是否应该让机器用宣传和谎言充斥我们的信息渠道？我们应该自动化所有的工作，包括令人满意的工作吗？我们是否应该发展最终可能超越并取代我们的非人类思维？我们应该冒险失去对我们文明的控制吗？

二是直指OpenAI关于通用人工智能的声明中的高调表态，指出当下恰是落实其中“在开始训练未来系统之前进行独立审查很重要”的主张的关键时刻。

而这两个策略背后的思想是，对于接近人类智能的人工智能的开发可能导致的人类生存风险，不能简单地从风险收益比的维度去权衡，相应的政策和监管不能完全依靠科技公司的自律和科技领袖的认知。

由此，公开信不仅明确呼吁所有AI实验室立即以公开和可检验的方式，暂停至少6个月训练比 GPT-4 更强大的AI系统；而且强调要在独立的外部专家的参与监督以及政府的必要监管下，通过这次必要的暂停，共同开发和实施一套用于高级人工智能的共享安全协议，以使强大的人工智能系统更加准确、安全、可解释、透明、稳健、一致，更值得信赖，对人类更为忠诚。

据此，公开信还进一步提出了构建专门和有力的人工智能监管机构和强大的审计和认证生态系统等具体建议。

2023年2月14日，国家超级计算成都中心科研人员在巡检机房设备。图/新华社

慢科学策略并不是简单叫停

从科技发展史的维度来看，公开信所提出的暂停策略并非创举，至少可以追溯至1975年。彼时在最为著名的一次阿西洛马会议上，保罗·伯格等生命科学家鉴于基因研究的未知风险，主动提出暂停重组DNA。

从那时到现在的差不多半个世纪，暂停有风险科学研究背后的预防性思想，越来越成为突破性科技创新所奉行的重要原则。

值得指出的是，从预防性原则出发提出暂停并不是简单叫停，而是通过科技风险的认知和研判，探寻我们可以接受的研究和创新。

应该是基于这一寻求更加稳健的创新的思路，公开信指出，只有当我们确信它们的影响是积极的并且它们的风险是可控的时候，才应该开发强大的人工智能系统。

展望深度科技化未来，科技将越来越深地走进生命和智能等关乎人类存在的领域，这也就意味着人的价值、伦理等问题必须被视为研究和创新的内在环节，必须在关注度和资源上给予相应的投入，科技才可能向着合乎人类利益的方向演进。

只有真正认识到这一点并付诸实践，才可能改变人工智能等深度科技化前沿中科技的力量和控制科技的力量之间的不平衡。

而这封公开信给我们的最大启示是，在扭转这种不相称之前，我们有必要通过暂停这种慢科学策略，使科技的力量在我们可以掌控的节奏下有序绽放。

唯其如此，我们才能够避免听任巨型科技系统演变成盲目的力量，甚至因其不受制约而对人类社会和文明发展带来颠覆性的灾难。

人类文明不能失控，的确是时候为巨型AI实验按下暂停键了。

从这个意义上讲，“让我们享受一个漫长的AI夏天，而不是毫无准备地陷入秋天”，并非一般的诗句，而是人类迈向科技未来需要反复唱颂的史诗。

撰稿/段伟文（中国社科院科学技术和社会研究中心）

编辑/徐秋颖

校对/赵琳