据外媒MSPoweruser报道，GPT是Generative Pre-training Transformer的简称，是由Alec Radford编写的语言模型，2018年由埃隆·马斯克的人工智能研究实验室OpenAI发布。它采用了生成式语言模型（两个神经网络通过竞争相互完善），通过对不同的书面材料集与长篇连载文本的预训练，能够获取世界知识并处理长程依赖关系。

GPT-2于2019年2月宣布，是一个无监督的转化语言模型，它是在800万份文档上训练出来的，共40GB的文本，来自通过Reddit提交分享的文章。埃隆·马斯克并不愿意发布它，因为他担心它可能被用来向社交网络发送假新闻。

2020年5月，OpenAI发布了GPT-3，这个模型包含的参数比GPT-2多了两个数量级（1750亿vs 15亿个参数），它比GPT-2有了极大的改进。

给予任何文本提示，GPT-3将返回一个文本完成，试图匹配用户给它的模式。用户可以给它 "编程"，只需向它展示几个希望它做的例子，它就会提供一篇完整的文章或故事，比如下面的文字，完全由GPT-3编写。

Jordan Singer同样创建了一个Figma插件，让人们可以使用纯文本描述创建应用程序。

其他的应用是作为搜索引擎或神谕的一种，甚至可以用来解释和扩展困难的概念。

虽然看起来这种方法可能会直接导致一个可以像人类一样理解、推理和对话的通用人工智能，但OpenAI警告说，他们可能遇到了根本性的扩展问题，GPT-3需要几千petaflop/s-day的计算量，而完整的GPT-2只有几十petaflop/s-day。

在GitHub上可阅读更多关于GPT-3的内容。