Pine 发自 凹非寺

量子位 | 公众号 QbitAI

GPT-4再度进化！

加上一个简单方法，就能让GPT-4这类大语言模型学会自我反思，性能直接提升30%。

这是美国东北大学联合MIT发表的最新论文中的方法：Reflexion。

不仅适用于GPT-4，也适用于其他大语言模型，让它们学会人类特有的反思能力。

目前该论文已经发表在预印平台arxiv上。

在这个反馈过程中，又可以分为三大步：

在第一步评估的过程中，首先要经历的是LLM（大语言模型）的自我评估。

也就是说LLM在还没有外部反馈时，首先要自己对答案进行反思。

那如何进行自我反思？

研究团队使用了一个二元奖励机制，为LLM在当前状态下执行的操作赋值：

1代表生成的结果OK，0则表示生成的结果不太行。

而之所以采用二元而非多值或连续输出这类更具描述性的奖励机制，原因和没有外部输入有关。

要在没有外部反馈的条件下进行自我反思，必须将答案限制在二元状态下，只有这样，才能迫使LLM做出有意义的推断。

在自我评估结束之后，如果二元奖励机制输出为1，则不启动自我反思装置，若为0，LLM则会开启反思模式。

在反思的过程中，模型会触发一个启发性函数h（如下），类比人类思考过程，h起到的作用就像是监督一样。

关于GPT-4已经会“思考”了，你怎（huang）么（le）看（ma）？

论文地址：https://arxiv.org/abs/2303.11366参考链接：[1] https://nanothoughts.substack.com/p/reflecting-on-reflexion[2] https://www.reddit.com/r/MachineLearning/comments/1215dbl/r_reflexion_an_autonomous_agent_with_dynamic/

— 完 —

量子位 QbitAI · 头条号签约

关注我们，第一时间获知前沿科技动态