目录

引子OpenAI发布GPT-4时没有透露任何权重或技术细节传闻称GPT-4的训练细节被泄露，包括模型参数量、模型层深、模型构架、训练数据、并行策略、预训练上下文、训练成本等来龙去脉传闻来源于Yam Peleg发布的推文Yam Peleg是以色列一个创业公司的CEO，熟悉大语言模型传闻的具体内容来自一个付费的Substack专栏SemiAnalysis传闻的可信度较高梳理分析私有模型的竞争将集中在并行能力上GPT-5的重点在于多模态OpenAI可能是有意放出的本次传闻私有模型的竞争将集中在并行能力上训练GPT-4的成本不是问题，训练数据也不是问题并行能力可能成为各路OpenAI竞争对手的角逐重点之一GPT-5的重点在于多模态GPT-4使用了16个专家模型组成的MoE模型GPT-5想要有大的性能突破，就必须能够充分利用现存的大量视频、图片以及音频数据OpenAI一直强调还没有训练GPT-5，大概率是真话OpenAI需要找到一个更好的多模态模型构架OpenAI可能是有意放出的本次传闻OpenAI很清楚GPT-4的护城河并不高OpenAI的多模态大模型构架应该还没有搞定OpenAI可能是想让竞争对手先去做GPT-4的复刻工作，把OpenAI已经走过的路也再走一遍如果在这个过程中，OpenAI给GPT-5的训练打好了基础，完成了多模态大模型的前期攻关，即使GPT-4已经被其他的大语言模型超越，OpenAI也不慌了

#头条创作挑战赛#