▲Llama 3预训练模型数据对比表

他们的“红队方法”利用人类专家和自动化方法生成对抗性提示，试图引发问题性的响应。例如，他们进行全面测试以评估与化学、生物、网络安全和其他风险领域相关的滥用风险。所有这些努力都是迭代的，并用于指导发布的模型的安全微调。

Llama Guard模型旨在确保及时响应安全，它可根据应用需求进行微调。其中，新的Llama Guard 2使用MLCommons分类体系，以支持行业标准的制定；CyberSecEval 2在其前身的基础上进行了扩展，添加了更多度量指标，以评估LLM的安全性；Code Shield可以在推断时过滤不安全代码，以减轻相关风险。

此外，Meta更新了其《负责任使用指南》，他们建议开发人员按照应用程序的内容指南检查和过滤所有输入和输出。同时，鼓励开发人员考虑使用云服务提供商提供的内容审核API和其他工具来进行负责任的部署。

Llama 3将很快在所有主要平台上推出，包括云服务提供商和模型API提供商。更新的分词器效能和新增的分组查询注意力（GQA）功能使得Llama 3保持了与Llama 2相当的推理效率。Llama Recipes提供了各种用例示例，从微调涵盖到部署再到模型评估。

Llama 3的8B和70B模型是Meta未来计划的开始，他们成将推出更多功能强大的模型，包括多模态能力、多语言对话能力等，同时，他们也会发布详细的研究论文。

令人期待的是，Meta最大的模型参数超过了400B。虽然这些模型仍在训练中，Meta团队表示对它的发展感到非常兴奋。

▲仍在训练的400B参数的Llama 3模型

Meta将最新的模型集成到Meta AI中，并将其推广到更多国家的应用程序中。用户可以在Facebook、Instagram、WhatsApp、Messenger和Web上使用Meta AI，从而实现各种目标。同时，Meta表示未来即将推出一个基于Llama 3的多模态Meta AI智能眼镜。

Meta的Llama 3模型在大语言模型领域取得了显著的技术进步，特别是在预训练数据的规模和质量上。该模型通过优化训练和评估，提升了多任务性能，并注重安全性和多语言支持。

Llama开源系列对AIGC的贡献，以及对高效训练技术和未来模型的规划，预示着其在AI行业的长期影响力。与此同时，Meta强调负责任的AI实践，预示了其对社会责任的承诺。

（来源：Meta）