GPT-3取得的成绩非常令人惊讶，将会在相关领域内造成深远的影响，并且有可能经受住时间的考验。

——

文｜杜晨 编辑｜Vicky Xiao

近日，人工智能顶级学术会议 NeurIPS 2020，因为疫情的影响，在网络上正式召开。

大会组委会公布了参会者和全球AI研究者、实践者最为期待的奖项名单，结果也在意料之中：科研劲旅 OpenAI 提交的超强生成模型 GPT-3 论文（和另外两篇论文一起）斩获本届 NeurIPS 最佳论文奖！

这篇论文标题为 Language Models are Few-Shot Learners, 意即语言模型也可以成为小样本学习的利器。(arXiv:2005.14165)

OpenAI 研发多年的 GPT 语言生成模型迭代到第三代后，不仅能够生成各种格式（如新闻、小说、对话等）以假乱真的文本内容，还获得了十分强大并且多样的新能力，包括并不限于翻译、问答、算数等。

不仅如此，OpenAI 还前所未有地将 GPT-3 开发成了一个服务，提供了可以调用的 OpenAI API，并少量提供给包括学术机构、商业公司和个人开发者在内的公众进行测试。

在今年早些时候的一篇文章中，我们着重介绍这些拿到 OpenAI API 体验资格的人士，在 GPT-3 强大能力的加持下做出的很多有趣的 demo.

比如，有人利用 GPT-3 的翻译能力，开发出了英语→LaTeX 数学公式的翻译器：

还可以用自然语言进行描述，十秒钟生成一个 Google 首页：

另外两篇最佳论文奖得主：

No-Regret Learning Dynamics for Extensive-Form Corellated Equilibrium. （arXiv:2004.00603)

这篇米兰理工大学和卡内基梅隆大学研究者的机器学习论文，解决的是一个对于现实世界特别有意义的问题：如何在社会活动中更好地找到均衡。更准确来说，这种均衡叫做“相关均衡”(correlated equilibrium)，比人们更经常听说的“纳什均衡”对于社会更有帮助，而且用机器学习的方式更容易计算出来。

而这篇论文提出的结果，解决了博弈论、计算机科学和经济学交界的一个长期存在的问题，对于诸如导航软件路线规划等涉及到博弈论的应用场景，都会有很大的帮助。

Improved Guarantees and a Multiple-Descent Curve for Column Subset Selection and the Nyström Method. (arXiv:2002.09073)

在机器学习的过程中，数据总结是一项重要的工作，但在过去很长时间以来，人们往往认为从越来越大的数据集中提取小且又代表性的子集作为数据总结，是一件很难的事情。而这篇来自UC伯克利的论文指出更优秀的数据总结方法是存在的，对于机器学习研究者可以说是期待已久的福音。

NeurIPS 2020 时间检验奖：

HOGWILD!: A Lock-Free Approach to Parallelizing Stochastic Gradient Descent (arXiv:1106.5730)

梯度下降是机器学习范畴内的和新方法，而随机梯度下降 (stochastic gradient descent) 是机器学习的关键算法之一。为了优化机器学习模型，以前的研究者需要并行运行随机梯度下降算法，但当时同行提出的一些方法都对于性能有明显影响。

由华人第一作者 Feng Niu 等人在 NIPS 2011 上发表这篇论文，提出了一种全新的并行运行随机梯度下降的 HOGWILD!: 方法，在同行方法上有较大的创新，对于机器学习训练的优化带来了很大的帮助，显著影响了后来的机器学习研究。

通过比较历史引用、近期引用数量，以及召集本届组委会的高级专家投票，Feng Niu 等人的这篇论文，从2009-2011年的12篇 NIPS 论文中脱颖而出，获得了今年 NeurIPS 的时间检验奖。

硅星人：（ID：guixingren123）

从科技到文化，从深度到段子，硅星人为你讲述关于硅谷的一切。