2022年12月，人工智能聊天机器人ChatGPT刷爆网络，网友们争先恐后去领略它的超高情商和巨大威力。参加高考、修改代码、构思小说......它在广大网友的“鞭策”下不断突破自我，甚至可以用一整段程序，为你拼接出一只小狗。那么，ChatGPT是如何炼成的？是否意味着AI已具有人类智能呢？

ChatGPT 指出问题错误

图源：澎湃新闻

它学会了从“人类反馈中强化学习”，即Reinforcement Learning from Human Feedback（RLHF）。

ChatGPT 使用“预训练-微调”的工作范式训练了一个初始模型：人类AI训练员提供对话，他们在对话中扮演双方——用户和AI助手，AI训练员可以访问模型编写的对话回复，并帮助AI调整回复内容。

ChatGPT训练方法

图源：OpenAI

被“调教”后的ChatGPT能够识别恶意信息，识别后拒绝给出有效回答，或记住用户之前所向它提问的内容，以各种方式组合语境想法，变成一个灵感生成器。

对于AI发展来说，创建一个迭代反馈的闭环至关重要。

除了RLHF，该研究还使用了近端策略优化算法（PPO）微调模型，对整个学习过程进行了数次迭代。上线后，ChatGPT将大量客户的反馈互动用于AI 的学习，将其变成推动AI进步的关键一环。

ChatGPT鼓励用户多交流互动以帮助其改进模型

图源：ins

AI是否已具有人类智能？

讨论AI是否已具有真正的“智能”是人类的游戏。

图灵测试（The Turing test）如今已然成为人工智能领域研究的核心目标之一。它由艾伦·麦席森·图灵提出，被公认为是人工智能学科兴起的标志。图灵测试将“思想能力”人为定义在功能和实用的范畴，为“智能”设定了条件。

图灵测试究竟是什么意思？简单来说，就是把机器关到小黑屋中，让它和人类聊天对话，然后分辨小黑屋里回答问题的究竟是机器还是人类。如果无法辨别，就说明了机器具有和人一样等级的智能，通过测试。

而迄今为止，还没有AI模型能真正通过图灵测试。

提及GPT-4会有怎样的优化，ChatGPT给出了以下答案：

ChatGPT：

GPT-4是一个大型语言模型，是目前人工智能领域最先进的技术之一。它能够在大量训练数据的基础上，模拟人类的语言表达能力，并以相似的语言来回答问题。目前，GPT-4还在不断优化，可能会有以下一些方面的改进：

GPT-4可能会增加更多的训练数据，以提高它的知识面和准确度。

GPT-4可能会增加更复杂的算法，以提高它的性能和处理能力。

GPT-4可能会增加更多的功能，例如语音合成、图像识别等，以提高它的应用能力。

GPT-4可能会增加更多的输入输出接口，例如聊天机器人、问答系统等，以提高它的使用方便性。

江湖传言：GPT-4已通过了图灵测试。

未来，AI是否可以真正具有人类智能？众说纷纭。也许奇点已然临近，也许依旧仅为空中楼阁。但不可否认的是，ChatGPT必将引领一场人工智能领域的先锋革命。

参考 | 参考消息网、界面新闻、澎湃新闻

整理 | 穆子叶

来源： 世界互联网大会