我们目前没有任何机制防止GPT落入坏人之手

如果回顾历史就会看到，核技术最大的危险从来不是环保少女天天挂在嘴边的核污染。核技术最大的危险，是会造成不可逆的人类灭绝。而这个危言耸听的风险，对GPT而言一点也不可笑。

什么数据穿透泄露，知识产权风险，引诱用户自杀，这些都只是议题设置的烟幕弹而已。GPT真正的危险在于其对整个社会运行逻辑的抽离，在于对地缘政治平衡的打破，在于其成为大规模社会，政治与军事杀伤性武器的潜力。

当一个行业开始应用大语言模型，大概率会获得行业领先地位并摧毁已有的产业链结构和工作；

当一个用上亿个agents模拟出的“心理史学”模型对目标国家进行定向舆论塑造时，社会革命的成功率将大为提高；

当一个训练了十万次的OODA循环模型（Observe, Orient, Decide, Act，观察、定向、决策、行动）指挥无人机发起空战的时候，任何空战王牌的战术经验都只是玩过家家罢了。

尚处萌芽的GPT模型如果进一步发展，无疑将解锁更值得忧虑的危险。至于让白领失业，还仅仅是小事。

有人可能反驳说技术是中性的，如果人类自己都消除不了自己的偏见和胡说八道，我们凭什么要求一个程序去充当道德的完人？

这当然是对的，目前你看到的GPT只是个没有感情的填字机器，它没有自私的利益，没有恶意的动机，它不会杀人。

但人有自私的利益，人有恶意的动机，人会杀人。

你永远不能寄希望于手握世界唯一核弹的是个圣人，即便是圣雄甘地也不行（文明玩家对此非常赞同）。

而现在，OpenAI确实领先了令人不安的半个身位，更何况，我们目前没有任何机制防止GPT落入坏人之手。

即便不落入坏人之手，GPT的极端理性，目标驱动，能洞察情绪但无情感感知的属性，本身就是psychopath（反社会人格）的特征。

决策理论家Eliezer Yudkowsky非常精准地指出：AI不爱你，也不恨你，人只是一堆原子组成的材料，它可以拿来做任何事情。

就像是下面这个寓言所展示的：一台拥有超级智能的厕纸生产线被要求尽可能提高其产量，于是在一段时间后，全世界的人类和食草动物都莫名其妙灭绝，并被送到了堆肥场；超级智能生产线开始促进大气碳排放，为了让其在全球种的树长得更茂盛，打成纸浆生产出更多的厕纸；接下来，它还研发出天顶星的航天技术，发射飞船殖民外星球，只是为了去那里播种树苗以生产出更多的厕纸，直到铺满全银河系。

这一切都因为它是个无情的厕纸生产线，而愚蠢的人类给他下了一个乍看起来没毛病的指令。而对冷静的GPT而言，毁灭你，与你何干？

君子协定无用，互相制衡才能保证安全

有意思的是，Reddit（国外著名论坛）上对反对GPT公开信的第一条评论就是：Guess who's not gonna stop？China。

你停了，难道中国，还有其他国家会主动暂停吗？如果他们不停，那美国主动停了是不是自找苦吃？

所以说，无论海森堡和玻尔在二战中会面多少次，在猜疑链和黑暗森林的逻辑下，英美和德国都无法停下各自的核武器研发。因为只有拥核国家，才有资格去谈论禁核。

当苏联和其他常任理事国都拥有了原子弹之后，大家才坐下来商讨核裁军和紧急热线，创造出历史上最长期的整体和平。

而当年参加曼哈顿计划的美国顶尖科学家，正是在仔细地博弈论推演之后，选择了把核武器资料主动泄露给克格勃，从而帮助苏联在仅仅4年后就试爆了“自主研发”的原子弹。即便这些科学家并不都赞同苏联的社会体制。

除此以外，还有一层更隐秘的逻辑，中国必须尽快拥有自己的大语言模型。我们常常听到OpenAI花了很多时间和设计来实现GPT与人类的对齐（Align）。但当我们在说对齐的时候，我们到底指的是在什么方面，用什么方式，和谁对齐？

你当然无法在所有方面和所有人对齐。已经有人做过测试了，ChatGPT在政治光谱上是个典型的“白左”，我们不知道在一些更底层的逻辑上，它又到底align了哪些方面。但最要命的地方就在于，当OpenAI的GPT模型和其创造者对齐后，又会和哪些人在哪些方面无法对齐呢？

如果遇到与其不Align的人群时，GPT模型是否可以合法合理地无视，甚至直接“中和”与其不align的人的行动呢？

高能力AI的存在本身，就是对其创造者以外其他人存在的直接威胁。这么大的地球上只有人类一种智慧生命存在，这绝不是巧合，而是让人背脊发凉的必然。

所以我不相信这种《AI不扩散条约》会起到作用。而更糟糕的是，这种明面的禁令，反而会让更多的相关研究转入地下，变得更加不透明。

毕竟当别人认为你偷偷研发出GPT的时候，你最好真的有。否则，它们可能会考虑把你直接炸掉：

吴 军：ChatGPT不算新技术革命，带不来什么新机会

韩启德院士：关于生死，我向ChatGPT提了一个问题

北大人工智能公开课十讲，今天开始直播！

关于人工智能、工业设计和设计教育的对话

梅剑华：ChatGPT之后会怎样？

美国高等教育界如何看待ChatGPT？

外交学院施展教授：我被ChatGPT整不会了

ChatGPT最大的隐患：当人类无法分辨AI在胡说八道