梦晨 萧箫 发自 凹非寺量子位 | 公众号 QbitAI

千亿级参数AI大模型，竟然真的能获取代码了？！

一觉醒来，AI圈发生了一件轰动的事情——

Meta AI开放了一个“重达”1750亿参数的大语言模型OPT-175B，不仅参数与GPT-3的1750亿一样，效果还完全不输GPT-3——

Meta AI对此解释称，OPT就是奔着开放代码去的，为了让更多人研究大模型，环境配置肯定是越经济越好。

这不，运行时产生的碳足迹连GPT-3的1/7都不到，属实省能又高效。

为了方便研究人员“量力而行”，Meta AI搞出了各种大小的OPT模型，从125M参数到1750亿参数的不同大小模型都有。

其中，660亿参数的模型还在制作中，马上也会和大伙儿见面：

所以，最大的OPT-175B模型究竟有多高效，又是怎么做到的？

性能方面，Meta AI针对OPT-175B和GPT-3，用14个NLP任务进行了测试。

结果表明，无论是零样本学习（zero-shot）还是多样本学习（Multi-shot），OPT在这些任务上的平均精度都与GPT-3相差不大。其中虚线为GPT，实线为OPT：

仇恨言论检测任务上的效果，更是完全超过Davinci版本的GPT-3模型（在GPT-3的四个版本中是效果最好的）：

研究人员表示，希望能在开放后，有更多人参与进来研究，并真正解决这些问题。

上面提到，这一次的OPT模型系列，300亿参数及以下的版本都是可以直接下载，660亿版还在路上。

只有完整的1750亿版需要额外填写一张申请表，包括工作单位、用途、相关发表工作等问题。

斯坦福大学基础模型研究中心主任、副教授Percy Liang对此发表了观点，将大模型的开放程度总结成4个层次，更高层次的开放能让研究者专注于更深的问题。

第一层论文开放，证明一些设想的可行性，并提供构建思路。

第二层API开放，允许研究人员探索和评估现有模型的能力（如推理能力）和限制（如偏见）

第三层模型权重开放和训练数据开放。允许研究人员逐步改进现有模型，开发更深入的可解释性技术和更有效的微调方法，让研究人员更好地理解训练数据在模型行为中的作用。

第四层计算能力开放，允许研究人员尝试新的体系结构、训练目标和过程、进行数据融合，并在不同的领域开发全新的模型。

Percy Liang认为更高层次的开放同时也会带来更多风险。

也许是时候制定相关的社区规范了？

Meta这次论文的的共同一作有三人，其中Susan Zhang加入Meta之前正是来自OpenAI。

不过在OpenAI期间她并没有负责GPT-3的开发，而是参与了玩Dota的OpenAI Five强化学习项目，以及多模态大模型的研究。

项目地址：https://github.com/facebookresearch/metaseq/tree/main/projects/OPT

论文地址：https://arxiv.org/abs/2205.01068

参考链接：[1]https://ai.facebook.com/blog/democratizing-access-to-large-scale-language-models-with-opt-175b/[2]https://www.technologyreview.com/2022/05/03/1051691/meta-ai-large-language-model-gpt3-ethics-huggingface-transparency/[3]https://twitter.com/MetaAI/status/1521489996145958914

— 完 —

量子位 QbitAI · 头条号签约

关注我们，第一时间获知前沿科技动态