刚刚，NeurIPS 2020在官网公布了2020年度最佳论文奖和时间检验奖。

最佳论文共收录了三篇，今年最亮眼的主角——OpenAI的GPT-3名列其中！

从论文的主题来看，算法占比29%，深度学习占比19%，应用占比18%，强化学习和规划（planning）占比9%，理论占比7%，概率方法占比5%，机器学习社会方面（ Social aspects of machine learning）占比5%，优化占比5%，神经科学和认知科学占比3%。

此外，大会还公布3篇获得最佳论文（Best Paper Awards）的文章。

GPT-3获奖理由：地表最强语言模型

OpenAI获奖的论文叫做「Language Models are Few-Shot Learners」。

GPT-3将其上一代模型GPT-2的大小从15亿个参数增加到1750亿个，其使用的最大数据集在处理前容量更是达到了 45TB。

奖项委员会给出的获奖理由: 论文展示出了迄今为止构建的最大、最复杂的语言模型 GPT-3。

GPT-3在许多NLP数据集上实现了强大的性能，包括翻译、问题回答和完形填空任务，以及一些需要实时推理或领域适应的任务。

具体来说，20多年前就已经知道，当所有的参与者在一次重复的正则形式的博弈中寻求最小化遗憾，参与的经验概率会收敛到一个正常形式的相关均衡。

列子集选择问题(CSSP)和 Nyström 方法是机器学习和科学计算中构造大数据集小型低阶近似的主要工具。其中一个基本问题是: 大小为 k 的数据子集如何与最佳秩 k 近似相竞争？

通过这篇论文开发的技术，利用谱性质的数据矩阵，以获得改进的近似保证，这超出了标准的最坏情况分析。

作者使用的方法为已知单值衰减率的数据集提供了更好的界限，同时还揭示了一个有趣的现象: 近似因子作为 k 的函数可能呈现多个峰和谷，称之为多重下降曲线。

最后，以 RBF 核为例，证明了改进的边界和多重下降曲线都可以通过改变 RBF 参数在实际数据集上观察到。

时间检验奖：穿越时间，一篇10年前的论文获奖

此外，大会还公布了一项「Test of Time Award」，即时间检验奖。

顾名思义，就是颁发给一篇经得起时间考验的论文。大奖被10年前的一篇论文获得，这篇论文对人工智能界产生了特别重大和持久的影响。

one more thing

大会还有很多有趣的地方，例如，一篇只有两个词的论文，被评为「题目最短」：Choice Bandits.

另外，英伟达研究开发了GAN训练的突破。一种名为ADA的新技术只需不到几千张训练图像就能生成高分辨率图像。

参考链接：

https://nips.cc/