允中 发自 凹非寺

量子位 | 公众号 QbitAI

进入2023年7月，大语言模型（LLM）的发展进入了新阶段，开源成为一个火热的主题。

面对语言模型的新一波开源浪潮，图灵奖得主Yann Lecun在推特上评价：

This is going to change the landscape of the LLM market.

下表列出Llama、Llama-2、以及ChatGPT在几个有代表性评测集上的表现：

更全面和详细的评测结果数字请参看https://opencompass.org.cn。

相比上代模型全面提升：

从综合能力角度，Llama-2-70B（绿色）相比于Llama-1-65B（紫色）更胜一筹，在语言、知识、推理、理解、学科等各个能力维度相比Llama-1都有明显提升。比如综合考试集MMLU上从63.71提升到69.75，GSM8K 上从54.51提升到63.46。

对话和基座模型基本持平：

经过微调和对齐的模型Llama-2-70B-Chat（黄色）相比基座模型Llama-2-70B（绿色），综合能力基本持平，在语言、推理和理解上相比基座有性能提升，在学科综合能力和知识能力上略有下降。比如翻译评测集Flores和代码评测集HumanEval上，Chat模型分别有超过40%和20%的相对提升，而在MMLU和TrivialQA上则有大约10%的相对降低。

离ChatGPT仍有较大差距：

相比ChatGPT-0613（蓝色），Llama-2-70B-Chat（黄色）仍需继续追赶，尤其在推理能力、理解能力、和学科综合能力上差距还比较明显。其中数学评测集MATH和代码评测集HumanEval的差距都超过了一倍。

在Llama的训练语料中，中文占比较小，微调阶段也没有针对中文进行调优，所以当前Llama-2-Chat在中文问题上仍显不足。

一个典型的表现就是给定中文问题时，模型还是会以英文回答。

近几个月，国内大模型发展迅速，多个企业和科研机构都发布了各自的大模型，其中不乏千亿参数的大模型。

那么国内大模型和Llama-2相比，究竟表现如何呢？很多朋友都关心这个问题。

国内机构发布的70B或者更高量级的模型普遍尚未开源，很多模型只通过内测API提供有限服务，因此我们还很难获得对很多国产模型的全量评测数据。

在OpenCompass上，由上海人工智能实验室和商汤科技联合多所高校发布的千亿参数书生·浦语模型（InternLM-104B）已经有了全面的评测结果。

基于这个结果，我们比较了书生·浦语和ChatGPT与Llama-2的性能：

在重量级模型的对比中，书生·浦语表现优秀，在大部分主流评测集上领先于Llama-2以及ChatGPT。具体而言，在43个评测集中，InternLM-104B在34个评测集中超越ChatGPT，在41个评测集上超越Llama-2-70B。

中文考试大幅领先：

在中文考试评测集CEval和高考评测集GAOKAO-Bench上，InternLM-104B都大幅超过Llama2-70B。

语言能力略有优势：

在中英文的基础语言任务上，包括字词理解，成语习语，翻译等评测集上，InternLM-104B都有优势，其中中文评测集上差距更大。

阅读理解“书生”名副其实：

在中英文的各类阅读理解评测集上，InternLM-104B均表现出明显的优势，从文本段中总结和理解关键信息的能力更胜一筹。

推理能力技高一筹：

在常识推理、数学推理、综合推理的各种数据集上，InternLM-104B都有比较稳定的发挥，相比Llama2-70B有一定优势。

知识问答平分秋色：在BoolQ，CommonSenseQA，TrivialQA，NaturalQuestion等知识问答评测集上，两个模型表现相当，可见知识水平没有明显差异。

代码能力互有胜负：

InternLM-104B和Llama2-70B的代码能力不相上下，HumanEval和 MBPP两个数据集上互有胜负。

重量级赛道上你追我赶，在7B量级的轻量级赛道上，开源模型的竞争也十分活跃。

在众多国内开源模型之中，百川智能发布的Baichuan-7B、清华大学和智谱AI发布的ChatGLM2-6B、上海人工智能实验室发布的InternLM-7B等优秀模型广受业界关注。

我们把这些国内模型和Llama-2-7B进行了全方位评测对比：

下表列出了这几个7B量级模型在几个有代表性评测集上的表现：

结果显示：Llama-2在知识能力上有明显优势。

但在学科、语言、推理和理解能力上，InternLM和ChatGLM2都已经超越了Llama-2，而且InternLM的领先优势十分明显。

几个月前Llama的开源引爆了社区，让众多开发者和研究者受益匪浅，衍生出整个羊驼家族，但遗憾的是其协议限制商用，将企业拒之门外。

7月6日，世界人工智能大会上，书生浦语开源体系正式发布，开源了InternLM-7B并提供免费商用许可。

之后，ChatGLM2-6B和Llama2等开源模型相继推进免费商用，顺应了发展潮流和社区呼声。

相信开源社区的星星之火将对产业形成燎原之势，进一步降低大模型落地应用的门槛。

— 完 —

量子位 QbitAI · 头条号签约

关注我们，第一时间获知前沿科技动态