本文来自微信公众号“硅星人”（guixingren123），作者：光谱 杜晨

硅星人的读者应该都对 OpenAI 比较熟悉了。这家总部位于旧金山的实验室，是 AI 基础科研领域的全球领导者之一。它开发的 GPT 语言生成模型，一次又一次刷新人们对于深度学习能力的认知。OpenAI 原是非营利机构，但为了更好地实现产研结合，用期权留住员工，之前也成立了有限营利的公司。

不过在去年12月，OpenAI 一批早期/核心员工集体离职，在领域内引起了不小的轰动。这次“出 OpenAI 记”并非普通的跳槽，相关离职人员也保持了很长时间的缄默，以至于圈内人士都不知道他们接下来有何打算。

最近，这批 OpenAI 前核心员工终于宣布了他们前所未有的伟大计划：解决长久以来神经网络的“黑盒子”问题，为研究者们开发能够解释 AI 真正工作原理的工具。

2015年底成立的 OpenAI，其使命是实现通用人工智能，打造一个能够像人的心智那样，具有学习和推理能力的机器系统。成立以来，OpenAI 一直从事 AI 基础研究，主要以 GPT 语言生成模型（特别是 GPT-3）被人们所熟知。

但其实，增强 AI 的可解释性，让它能够更加安全地应用，也是 OpenAI 的研究方向之一。只不过，这部分工作在名气更大的 GPT-3 的面前，似乎显得没有那么重要。

而在去年年底离职的这一批员工，认为随着模型变大、算力变强，通用人工智能离我们越来越近，在可预见的未来就有可能实现——而在这样的前提下，AI 可解释性和安全性变得无比重要。这批员工，被认为是AI领域的“有效利他主义者”。简单来说，他们不仅认为应该投入重金进行 AI 基础研究让世界变得更好，并且也要注重实际功效。

他们的理念和 OpenAI 并没有本质上的冲突，但是 OpenAI 变得越来越不透明，且逐渐功利化的趋势，令他们感到担忧。一个最直接的例子，就是 OpenAI 尚未解决偏见和安全问题，就把 GPT-3 开发成了商用化的 API，提供给行业里的大公司使用。

对于“神经网络到底是什么”这类问题，通常的白话答案是“一种模仿人脑神经工作方式的计算系统”。然而很多专业人士都不愿意提及的是：我们对人脑的工作原理至今并未完全了解。

而深度学习领域的现状是：我们正在疯狂地把这些“一知半解”的知识用于神经网络，并且把这样开发出来的 AI 系统用于越来越高风险的场景，却又缺乏对可解释性，对安全的思考。

比如，我们知道一个神经网络的参数量越大、泛用性似乎就越强，但无法解释某几个参数之间的关系到底是什么，进行怎样的调整会导致输出结果怎样变化；再比如，我们知道偏见在社会中客观存在，也必然会投射到社会资料聚合而成的数据集当中，而为数据集是 AI 系统带有偏见的重要原因，但除了低效地改善数据集之外，我们对于消除 AI 系统的偏见暂时别无他法。

Amodei 接受美国媒体 Vox 旗下 Future Perfect 采访时表示，AI 研究人员应该增加对机器学习系统内在工作原理的了解，并且用这些知识来开发更安全的系统，而不是执迷于“放卫星”似的盲目开发越来越大的神经网络。

为什么呢？举个例子：深度学习有一个经典的激励“扭曲”现象，比如你想让机器 agent 走出迷宫，设计分数（豆子）激励它——结果它执迷于获得更高的分数，遍历了每一条错误的路，吃掉了所有的豆子，却从未将走出迷宫当作真正目标。

当神经网络变得更大、更强，如果中间出现了某种主观或客观导致的激励扭曲，它真正做的事情和它的设计初衷之间的差距只会越来越大，应用在现实场景中，有可能导致严重后果。

如果我们能够获得一种工具，能够更清楚直白地了解神经网络的工作原理，知道如何调整网络的哪个部分，能够避免此类情况，对于接下来的 AI 进步将有很大帮助。所有研究者都希望掌握这个工具，但问题就在于，我们现在并没有这样的工具。

而 Anthropic 的任务就是开发出这样的工具，并把它送到更多 AI 研究者的手上。

去年年底从 OpenAI 离职的核心员工当中就包括 Dario Amodei 和他的同胞姐妹 Daniela。LinkedIn 资料显示，他们于今年2月创办了 Anthropic 公司，Dario 任 CEO，Daniela 任总裁。

Dario是 OpenAI 的早期员工之一，曾发表多篇 AI 可解释性、安全等方面的论文，离职前在 OpenAI 担任研究 VP。在此之前，Dario 还曾在百度担任研究员，在前首席科学家吴恩达手下工作。他博士毕业于普林斯顿大学，后回到本科毕业的斯坦福大学担任博士后学者。他是 OpenAI 的前核心成员，也被认为是深度学习领域最为前沿的研究员之一。

简单介绍一下 Olah 参与的 OpenAI 多模态神经元论文：多年以前有研究者发现，大脑中的一些神经元可以对模态不同但概念相同的触发条件产生反应，比如当提到“哈莉·贝瑞”的名字、照片、简笔画像的时候，同一个神经元都可以产生反应。

OpenAI 的多模态神经元研究，基于该机构今年发布的 CLIP 泛用性视觉系统。论文作者发现在 CLIP 的神经网络倒数第二层也存在这样的一颗“神经元” （Neuron 244）。这项研究预示着，“抽象”这一自然视觉领域的概念，很可能在计算机合成视觉领域同样存在。

有着如此强大团队，Anthropic 成为了投资者眼中的最新热门标的。目前该公司已经完成了规模高达1.24亿美元的 A 轮融资，并正式走出隐形状态。

A 轮的领投者是 Jaan Tallinn，原 Skype 的联合创始人。Tallinn 还是 DeepMind 的早期投资人。

（他能“击败”一众其它科技大佬/大牌投资人，拿到领投资格，一个重要原因应该是他和 Anthropic 创始团队哲学理念一致，是“有效利他主义”运动的主要资助者之一。）

Anthropic 的其它投资人还包括 Dustin Moskovitz（Asana CEO、Facebook 联合创始人）、埃里克·施密特（谷歌前董事长、CEO）、詹姆斯·麦克雷夫等，绝对是相当豪华的投资人阵容了。

Anthropic 表示公司的钱主要花在计算密集型的基础科研上，虽然未来也有商业化的打算，短期内不会作为主要目标。但不管怎样，A 轮 1.24亿美元的融资规模，足以表明 Anthropic 的投资人预期它的估值完全有追赶 OpenAI 的希望。

在这个 AI 基础科研得到比以往更多关注的时代，Anthropic 无疑将成为 OpenAI、DeepMind 的有力“竞争者”，和一家值得继续密切关注的研究型公司。