克雷西 发自 凹非寺

量子位 | 公众号 QbitAI

对于ChatGPT的工作原理，一个常见的解释是根据统计学规律预测下一个词。

但最近一位叫Jacob Bayless的工程师用数学方法得出惊人结论：

若是如此，所需的信息量足以让整个宇宙都坍塌成黑洞。

这一数据量是50000^8000，根据贝肯斯坦上限(Bekenstein bound)原理，如果把这些信息分配到空间当中，所需要的信息密度已经远超宇宙能承受的最大值。

而这仅仅是把数据存储起来的消耗，更不必说还要进行运算了。

替换的目的是因为互联网上不太可能出现类似语料，可以判断大语言模型是不是真的掌握了通用方法。

如果GPT不是“随机鹦鹉”，那么它至少不会犯下只有“随机鹦鹉”才会犯的错误。

GPT-4针对替换后的问题给出了正确的回答，GPT-3.5则没有。

其实只要从GPT的输出当中就可以看出来了。

假如从1-100中随机选择10个数字，并将其顺序打乱，将一共有这么多种情形：

如果再考虑数字的重复出现，又或者数字的数量发生变化，根本不可能存储如此之多的情形。

因此，只要GPT能够针对未知的排序问题给出正确的回答，便可以说明它们是真的研究出了排序算法。

研究人员训练了一款特斯拉前AI总监Andrej Kaparthy发明的语言模型nanoGPT，专门让它做数字排序。

结果显示，随着训练步数的增加，模型给出的数字顺序越来越完美。

虽然在训练步数达到16万左右时突然出现了大量错误，但也很快得到了纠正。

这说明这款模型并不是仅仅根据学习的素材对未知的数字进行排序，而是已经掌握了背后的方法。

这个测试只是在一台笔记本电脑、算力非常有限的GPU上进行的。

更不必说GPT-4了。

参考链接：https://jbconsulting.substack.com/p/its-not-just-statistics-gpt-4-does

— 完 —

量子位 QbitAI · 头条号签约

关注我们，第一时间获知前沿科技动态