在当今人工智能领域，大语言模型（LLM）的发展日新月异。常规的大语言模型在处理问题时，往往遵循较为直接的模式，依据其预先训练所积累的知识和模式匹配，直接给出对问题的回答。然而，推理大语言模型（推理 LLM）却展现出了不同的特质。与常规 LLM 相比，推理 LLM 更倾向于在回答给定问题之前，将问题分解为更小的步骤，这些步骤通常被称为推理步骤或者思维过程。

在步骤 2中，使用与训练 DeepSeek-R1-Zero 类似的强化学习流程来训练生成的模型。然而，添加了另一个奖励措施，以确保目标语言保持一致。

在步骤 4中，使用得到的 800,000 个样本的数据集对 DeepSeek-V3-Base 模型进行监督微调。

这意味着 DeepSeek-R1 实际上是通过监督微调和强化学习对 DeepSeek-V3-Base 进行的微调。大部分工作是确保生成高质量的样本！

DeepSeek-R1 是一个拥有 671B 参数的庞大模型。不幸的是，这意味着在消费级硬件上运行这样的模型将会非常困难。

幸运的是，作者探索了将 DeepSeek-R1 的推理质量提取到其他模型中的方法，例如 Qwen-32B，我们可以在消费级硬件上运行它！

为此，他们使用 DeepSeek-R1 作为教师模型，较小的模型作为学生模型。两个模型都会被赋予一个提示，并需要生成一个 token 概率分布。在训练过程中，学生模型将尝试紧密遵循教师模型的分布。

这个过程是使用之前看到的全部 800,000 个高质量样本完成的：

由此产生的提炼模型性能非常出色，因为它们不仅从 800,000 个样本中学习，而且还学习了老师（DeepSeek-R1）回答这些样本的方式！

还记过程奖励模型（PRM）和蒙特卡洛树搜索（MCTS）吗？事实证明，DeepSeek 也尝试过使用这些技术来灌输推理能力，但并没有成功。

使用 MCTS 时，他们遇到了搜索空间过大的问题，不得不限制节点扩展。此外，训练细粒度的奖励模型本身就很困难。

使用 Best-of-N 技术的 PRM 时，他们遇到了计算开销问题，需要不断重新训练奖励模型以防止奖励黑客攻击。

这并不意味着这些不是有效的技术，但它提供了有关这些技术的局限性的有趣见解！

newsletter.maartengrootendorst