有消息称，Meta正在开发比GPT4更强大的人工智能大模型Llama3，开源且免费！

据人工智能新闻网站the decoder，这是OpenAI工程师、前谷歌大脑工程师Jason Wei在Meta组织的Generative AI Group社交活动中无意中听到的消息。

Wei表示，他注意到Meta现在有足够的计算能力来训练Llama3和4。Llama3计划达到GPT-4的性能水平，但仍将免费提供。

不过，目前还没有关于Llama3何时发布甚至是否发布的官方声明。从今年2月发布的Llama1到7月的Llama2，Meta花了大约五个月的时间。

但值得一提的是，GPT-4具有比Llama标准版更复杂的架构。文章称，GPT-4可能通过使用更复杂的专家混合架构来实现其高性能，该架构具有16个专家网络，每个网络具有约1110亿个参数。

因此，从Llama 2跳到Llama 3可能不只是简单地进行扩展，并且可能比从Llama 1跳到Llama 2需要花费更长的时间。

Llama2在某些应用中达到了GPT-3.5的水平，并且还通过微调和额外功能由开源社区进行优化。

例如，最近发布的基于Llama2的CodeLlama，通过微调在Human Eval编码基准测试中达到了GPT-3.5和GPT-4水平的结果(取决于测量类型)。

然而，在关于Llama2的论文中，Meta自己指出,与GPT-4和谷歌的PaLM-2等闭源模型之间仍存在巨大的性能差距。

所以可以说，Llama2在某些方面达到了GPT-3.5的水平，但与最先进的闭源模型GPT-4相比，仍存在明显的差距。它主要的优势在于其开源性，即允许研究人员和开发者基于它进行调优和创新。

英国《金融时报》7月中旬报道称，Meta开发Llama模型的主要目标是，打破OpenAI在大语言模型（LLM）市场的主导地位。Meta可能会尝试将Llama模型建立为LLM市场的一项支持技术，类似于谷歌在移动市场上对Android所做的事情，以便稍后推出更多产品。此外，Meta还从开源社区模型的快速开发中受益。

OpenAI首席执行官Sam Altman于6月上旬表示，GPT-5距离训练发布还很远。谷歌计划在今年年底或明年初推出下一代多模态LLM Gemini。

本文来自华尔街见闻，欢迎下载APP查看更多