来自斯坦福大学和加州大学伯克利分校在7月份提交的一篇题为《How is ChatGPT's behavior changing over time?》的研究论文显示：同一个版本的大模型，确实可以在相对较短的时间内发生巨大变化。从3月份到6月份，研究者测试了GPT-3.5和GPT-4两个版本，采集了四个常见的基准任务数学问题、回答敏感问题、代码生成和视觉推理的生成结果，并进行评估。结果显示，无论是GPT-3.5还是GPT-4，二者的性能和生成结果，都有可能随时间而变化。数学能力方面，GPT-4（2023年3月）在识别质数与合数方面表现得相当不错（84%准确率），但是GPT-4（2023年6月）在相同问题上的表现不佳（51%准确率）。有趣的是，CPT-3.5在这个任务上6月份的表现要比3月份好得多。不过在敏感问题方面，GPT-4在6月份回答敏感性问题的意愿较3月份下降；代码能力方面，GPT-4和GPT-3.5，都在6月份表现出比3月份更多的错误。研究者认为，虽然ChatGPT的性能和时间没有明显的线性关系，但是准确性确实会飘忽不定。

过往，机器学习模型是按照具体任务和具体数据的对应关系进行训练。通过大量的例子，先教给模型，那个领域中什么是好，什么是坏，再调节一下模型的权重，从而输出恰当的结果。这种思路下，每做一些新的事情，或者数据分布有明显变化，都要重新训练一遍模型。新事情和新数据无穷无尽，模型就只能刷新。但是模型的刷新也会导致过去做得好的事情突然做不好了，进一步限制应用。总结来看，传统的机器学习模型中，数据飞轮本质是为了迭代模型，用新模型解决新问题的范式。不过以ChatGPT为代表的大模型，涌现出自主学习能力，突破了这种范式。过往的机器学习，是先“吃”数据，之后“模仿”，基于的是对应关系；ChatGPT类的大模型，是“教”数据，之后“理解”，基于的是“内在逻辑”。这种情况下，大模型本身不发生变化，理论上可以永葆青春。不过也有从业人士表示，正如大模型的智能涌现一样，是非线性发展、不可预测的，是突然就有的。对于大模型是否会随着时间发生衰老，涌现出难以预测的不可确定性也是未知的。换句话说，ChatGPT在涌现出难以理论化推导的智能性能后，也开始涌现出难以预测的不可确定性。对于“涌现”的黑盒性，9月6日在百川智能Baichuan2开源大模型发布会上，中国科学院院士、清华大学人工智能研究院名誉院长张钹表示：“到现在为止，全世界对大模型的理论工作原理、所产生的现象都是一头雾水，所有的结论都推导产生了涌现现象。所谓涌现就是给自己一个退路，解释不清楚的情况下就说它是涌现。实际上反映了我们对它一点不清楚。”在其看来，大模型为什么会产生幻觉这个问题，涉及到ChatGPT跟人类自然语言生成原理的不一样。最根本的区别在于，ChatGPT生成的语言是外部驱动的，而人类的语言是在自己意图的情况下驱动的，所以ChatGPT内容的正确性和合理性不能保证。在经历过一系列概念炒作跟风上车之后，对于致力于开发生产力基础模型的人来说，面临的挑战将是如何确保其产品持续输出结果的可靠性和准确性。不过对于大模型相关的娱乐产品而言，正如Character.AI 联合创始人Noam Shazeer在《纽约时报》上所说：“这些系统并不是为真相而设计的。它们是为合理的对话而设计的。”换句话说，它们是自信的废话艺术家。大模型的巨浪已然开始分流。

参考资料：

Gizmodo-Is ChatGPT Getting Worse?TechCrunch-AlappCharacter.aiiscatchinguptoChatGPTintheUSMachine Learning Monitoring- Why You Should Care About Data and Concept DriftM小姐沿习录-关于ChatGPT的五个最重要问题清华大学人工智能国际治理研究院-对大模型的研究很迫切，不能解释不清楚就说“涌现”