编辑：编辑部

【新智元导读】大模型格局，再次一夜变天。Llama 3.1 405B重磅登场，在多项测试中一举超越GPT-4o和Claude 3.5 Sonnet。史上首次，开源模型击败当今最强闭源模型。小扎大胆豪言：开源AI必将胜出，就如Linux最终取得了胜利。

开源新王Llama 3.1 405B，昨夜正式上线！

在多项基准测试中，GPT-4o和Claude 3.5 Sonnet都被超越。也即是说，闭源SOTA模型，已经在被开源模型赶上。

Meta这次可谓是将开源的精神贯彻到底，同时大方放出的，还有一篇90多页的论文。

HuggingFace首席科学家Thomas Wolf赞赏道：如果想从0开始研究大模型，你需要的就是这篇paper！

它简直无所不包——预训练数据、过滤、退火、合成数据、缩放定律、基础设施、并行处理、训练方法、训练后适应、工具使用、基准测试、推理策略、量化、视觉、语音和视频……

AI2的研究员Nathan Lambert估计，这份90页的Llama 3.1论文，将直接把开源模型的进展往前推上3-9个月！

网友：一个新时代开始

Llama 3.1正式解禁后，在全网掀起轩然大波。

AI大神Karpathy随即发表了一些自己的感想：

今天，随着405B模型的发布，GPT-4/Claude 3.5 Sonnet级别的前沿大模型首次对所有人开放供大家使用和构建。。其权重开源，商用许可、允许生成合成数据、蒸馏和微调模型。

这是Meta发布的一个真正开放的前沿LLM。除此以外，他们还放出了长达92页的技术报告，其中包含有大量模型细节：https://ai.meta.com/research/publications/the-llama-3-herd-of-models/

首先，Llama 3.1可以作为一个能够执行「智能体」任务的系统来运行：

- 分解任务并进行多步骤推理

- 使用工具

- 内置工具：模型自带对搜索或代码解释器等工具的知识

- 零样本学习：模型可以通过以前未见过的上下文工具定义来学会调用工具

比如问模型：「这是一个CSV文件，你可以描述它里面有什么吗？」

它会识别出：这份CSV文件包含了多年的每月通货膨胀率，年份一栏表示了每组每月通货膨胀率的年份。

如上所示，Llama 3.1支持8种语言，因此可以胜任多语言的翻译。

我们可以让它将童话故事《汉泽尔与格莱特》（糖果屋）翻译成西班牙语。

在推理完成后，它还贴心地为我们提供了更详细的出行穿衣指南、行李清单。

再接下来，若想自定义程序，AI代码助手为我们提供了相应的代码建议——调整宽度和高度。

要在1.6万张GPU上训练405B的模型，仅仅是考虑并行和故障处理，就已经是一个大工程了。

除了模型本身，论文对训练过程使用的并行化方案，以及存储、网络等基础设施都进行了阐述。

Llama 3.1的训练采用4D并行（张量 流水线 上下文 数据），在BF16精度下，GPU利用率（MFU）约为38%～41%。

使用Llama 3将Python代码（左）转换为PHP代码（右），以使用更广泛的编程语言来扩充SFT数据集

数学推理

训练擅长数学推理的模型，面临着几大挑战，比如缺乏提示、缺乏真实的CoT、不正确的中间步骤、需要教模型使用外部工具、训练和推理之间的差异等。

为此，Meta采用了以下方法：解决提示不足问题、增强训练数据中的逐步推理过程、过滤错误的推理过程、结合代码和文本推理、从反馈和错误中学习。

Llama 3执行多步骤规划、推理和工具调用来解决任务

基于提供文件，要求模型总结文件内容、查找并修复错误、优化代码、执行数据分析或可视化等

事实性

对于LLM的公认挑战幻觉问题，Meta采取了幻觉优先的方法。

他们遵循的原则是，训练后应该使模型「知道它知道什么」，而不是添加知识。

可操纵性

对于Llama 3，Meta通过带有自然语言指令的系统提示，来增强其可操纵性，特别是在响应长度、格式、语气和角色/人格方面。

小扎：开源AI是未来

众所周知，小扎一直是开源AI的忠诚拥趸者。

这次不仅是发布一个新的最强模型那么简单，而是誓要让开源AI走上神坛。

「今天，几家科技公司正在开发领先的封闭模型，但开源正在迅速缩小差距。」

小扎敢直接点名自然有他的实力作为底气，去年，Llama 2还落后于前沿的旧一代模型。

而今年，Llama 3在性能方面已经能与其他巨头大模型分庭抗礼了。

Llama 3.1 405B作为第一个前沿级别的开源AI模型，除了相对于封闭模型显著更好的成本/性能比之外，405B模型的开放性使其成为微调和蒸馏小型模型的最佳选择。

对于开发者来说，坚持开源模型有五大好处：

第一，开源模型允许开发者自由地训练、微调和蒸馏自己的模型。

每个开发者的需求不同，设备上的任务和分类任务需要小模型，而更复杂的任务则需要大模型。

利用最先进的开源模型，开发者可以用自己的数据继续训练，并蒸馏成理想大小。

第二，可以避免被单一供应商限制。

开发者不希望依赖于自己无法运行和控制的模型，也不希望供应商改变模型、修改使用条款，甚至完全停止服务。

而开源使得模型可以轻松切换和部署，从而打造一个广泛的生态系统。

第三，保护数据安全。

开发者在处理敏感数据时，需要确保数据的安全，这就要求他们不能通过API发送给闭源模型。

众所周知，由于开发过程更透明，因此开源软件通常更安全。

第四，运行高效且成本更低。

开发者运行Llama 3.1 405B的推理成本只有GPT-4o的一半，无论是用户端还是离线推理任务。

第五，长远眼光来看，开源将成为全行业标准。

实际上，开源的发展速度比闭源模型更快，而开发者也希望能够在长期具有优势的架构上构建自己的系统。

在小扎看来，Llama 3.1的发布将成为行业转折点，让开源变得愈发势不可挡。 #长文创作激励计划#