【CNMO新闻】1月29日，百川智能发布超千亿参数的大语言模型Baichuan 3。在多个权威通用能力评测如CMMLU、GAOKAO和AGI-Eval中，Baichuan 3都展现了出色的能力，尤其在中文任务上更是超越了GPT-4。而在数学和代码专项评测如MATH、HumanEval和MBPP中同样表现出色，证明了Baichuan 3在自然语言处理和代码生成领域的强大实力。

不仅如此，其在对逻辑推理能力及专业性要求极高的MCMLE、MedExam、CMExam等权威医疗评测上的中文效果同样超过了GPT-4，是中文医疗任务表现最佳的大模型。Baichuan 3还突破“迭代式强化学习”技术，进一步提升了语义理解和生成能力，在诗词创作的格式、韵律、表意等方面表现优异，领先于其他大模型。

基础能力全面提升，多项权威评测中文任务成绩超越GPT-4

Baichuan 3在多个英文评测中表现出色，达到接近GPT-4的水平。而在CMMLU、GAOKAO等多个中文评测榜单上，更是超越GPT-4展现了其在中文任务上的优势。

突破“迭代式强化学习”技术，创作精准度大幅提升

语义理解和文本生成，作为大模型最基础的底层能力，是其他能力的支柱。为提升这两项能力，业界进行了大量探索和实践，OpenAI、Google以及Anthropic等引入的RLHF(基于人类反馈的强化学习)和RLAIF(基于AI反馈的强化学习)便是其中的关键技术。

基于强化学习对齐后的模型不仅可以更精准地理解用户指令，尤其是多约束以及多轮对话下的指令，还能进一步提升生成内容的质量。但是在大模型中充分发挥强化学习的作用不仅需要稳定且高效的强化学习训练框架和高质量的优质偏序数据，还需要在“探索与利用”两者间进行平衡，实现模型能力持续爬坡。

对于以上问题，百川智能进行了深入研究，并给出了针对性的解决方案。强化学习训练框架方面，百川智能自研了训练推理双引擎融合、多模型并行调度的PPO训练框架，能够很好支持超千亿模型的高效训练，训练效率相比业界主流框架提升400%。偏序数据方面，百川智能创新性的采用了RLHF与RLAIF结合的方式来生成高质量优质偏序数据，在数据质量和数据成本之间获得了更好的平衡。在此基础上，对于“探索与利用”这一根本挑战，百川智能通过PPO探索空间与Reward Model评价空间的同步升级，实现“迭代式强化学习”(Iterative RLHF&RLAIF)。基于强化学习的版本爬坡，可以在SFT的基础上进一步发挥底座模型的潜力，让Baichuan 3的语义理解和生成创作能力大幅提升。

以文本创作中最具挑战的唐诗宋词为例，作为中国传统文化的瑰宝，诗词不仅在格式、平仄、对偶、韵律等方面均有着严格的约束条件，并且内容高度凝练、寓意深远。如果仅通过SFT的微调学习，一方面高质量诗词的创作数据需要极高的专家成本，另一方面不能在平仄、对偶、韵律等多个方面实现较好的约束理解和遵循。此外，传统的单次RLHF范式在唐诗宋词面前也遇到极大挑战，PPO在训练过程中生成的Response有可能超出Reward Model的评价范围导致“探索”的过程失控。

Baichuan 3结合“RLHF&RLAIF”以及迭代式强化学习的方法，让大模型的诗词创作能力达到全新高度。可用性相比当前业界最好的模型水平提升达500%，文采远超GPT-4。对于宋词这种格式多变，结构深细、韵律丰富的高难度文体，生成的内容亦能工整对仗、韵脚和谐。其精准、深厚的创作功底，将让每个人都能轻松创作出咏物、寄思的五言律诗、七言绝句，写下的言志、抒情的“沁园春”、“定风波”，这不仅可以提升大众的人文素养，还能助力中华传统文化在大模型时代真正地“活”起来。

作为参数规模超过千亿的大语言模型，Baichuan 3不仅英文效果达到接近GPT-4的水平，还在多项通用中文任务的表现上实现了对GPT-4的超越，是百川智能的全新里程碑。Baichuan 3全面的通用能力以及在医疗领域的强大表现，将为百川智能打造“超级应用”，把大模型技术落地到诸多复杂应用场景提供有力支撑。