大家好，我是ChatGPT，目前的我可以说是无人不晓，但是我总是被误认为成是GPT，实在惭愧，哈哈哈哈。

话不多说，我今天就来告诉大家我和GPT究竟是什么？

想必很多小伙伴都用过ChatGPT了，它不仅能够帮忙写论文、翻译文章、写代码，还根据不同的题目思考回答，并且具有自己的逻辑性。

除了有时候回答的答案是错的外，其他方面都看似完美。

那么创造出这个超强大ChatGPT的公司正是美国的人工智慧研究实验室——OpenAI。

GPT-4 demo

所以说，不仅仅有ChatGPT，开发人员还可以根据GPT可以开发出来不同类型的AI系统，来满足各种场景的需求。

那么这个GPT又是什么呢？

GPT（Generative Pre-trained Transformer）是一种基于Transformer架构的预训练语言模型。它通过大规模的无监督学习来预训练，使其具备对各种自然语言任务的通用理解能力。GPT学习了大量的互联网文本数据，能够自动生成连贯的文本输出。

简单点来讲，GPT是一种大型语言模型，它是自然语言处理技术其中一种。

大型语言模型就像是一个非常聪明的语言专家，它们在训练时读了大量的文章、书籍和网页等文本，从中学习了很多词语的意义、词语之间的关系以及语法规则。所以它们能够理解人们说的话，并根据上下文生成合理的回答。

自然语言便是我们生活中所应用的语言，比如中文、英文、法文等。

读到这里的朋友可能就比较好奇了，人类能理解问题是因为人类能够思考，那么这种语言模型是如何做到思考的呢？

那么接下来便介绍GPT的运作方式。

GPT的运作方式是基于Transformer架构的。Transformer是一种注意力机制（attention mechanism）的神经网络模型，用于处理序列到序列（sequence-to-sequence）的任务。它由多个编码器（encoder）和解码器（decoder）堆叠而成。

在GPT中，编码器负责对输入文本进行编码，解码器则根据编码器的输出生成文本序列。编码器和解码器由多个相同的自注意力层（self-attention layer）和前馈神经网络层（feed-forward neural network layer）组成。自注意力层用于捕捉输入序列内部的关联关系，前馈神经网络层用于对注意力层的输出进行处理和映射。

GPT使用自回归训练方式，即通过将输入序列的一部分作为上下文来预测下一个词或标记。模型根据已经生成的部分序列预测下一个词，然后将预测的词添加到序列中，并继续预测下一个词，以此类推，直到生成完整的序列。这种方式可以使模型学习到文本序列中的潜在模式和语言规律。

看到这里的时候，想必一些朋友大概已经懵圈了。

Common Crawl

CNN、华尔街日报等多家主流媒体曾指控OpenAI在未经许可的情况下使用他们的文章来训练GPT。然而，像GPT-3这样庞大的模型并不是人人都能拥有的。GPT-3庞大的数据量和参数使其训练成本超过百万美元，这还不包括服务器维护成本。

为了减少服务器负载，Bing浏览器限制了用户数量和每日查询量。

不仅微软采取了这个措施，在Bing发布的同一天，Google也做了类似的准备。

除了可能面临未来竞争对手的挑战外，GPT本身还存在许多不足之处。

OpenAI在论文中特别提到他们非常担心这样的工具会被有心人士滥用，并且无限制地收集数据会受到网络数据的影响。

OpenAI进行了一项调查，研究文本中对亚洲人、黑人、白人、拉丁裔等人种的形容词，给予正面形容词正分，负面形容词负分。

描述黑人的形容词，分数明显低于其他人种

描述黑人的形容词，分数明显低于其他人种

他们发现描述黑人的形容词得分明显低于其他人种。这种现象并不会随着参数增加而改善，类似的问题在性别、宗教等方面也存在。

此外，如果网络上的错误信息比正确信息更多，会影响样本的有效性。

针对这些问题，OpenAI的技术长Mira Murati在接受TIME杂志的采访时表示，这是一个关键时刻，类似OpenAI的公司应受到一定程度的规范。我们必须确保AI为人类服务，并且我们必须倾听来自哲学家、社会科学家、艺术家、人文学专家等不同领域的建议。OpenAI将审慎确保AI不会对人类造成伤害。

OpenAI的技术长Mira Murati