10 月 14 日欧洲杯体育，小米和北京大学连合签字的论文发表于 arXiv，曾被曝获小米集团首创东说念主兼 CEO 雷军以千万年薪招募的 DeepSeek“天才青娥”罗福莉，出现时了这篇论文的通信作家之列，但值得注重的是，论文作家中并莫得标注罗福莉属于小米大模子团队。

通信作家中的罗福莉是 95 后，她本科就读于北京师范大学打算机专科，硕士毕业于北京大学打算谈话学打算所打算谈话学专科。随后罗福莉曾在阿里巴巴达摩院主导斥地了多谈话预锻真金不怕火模子 VECO，并股东了 AliceMind 的开源使命，2022 年入职 DeepSeek，参与了 MoE 大模子 DeepSeek-V2 的研发。昨年年底，小米被曝以千万年薪挖角 DeepSeek-V2 中枢斥地者之一罗福莉，使其冲上热搜，但两边于今都未公开声明是否追究入职小米。

▲ DeepSeek“天才青娥”罗福莉（图源：罗福莉个东说念主公众号）

这篇论文建议了培育 MoE 模子强化学习锻真金不怕火的新步调 Rollout Routing Replay（R3）。履行截止讲明，R3 的举座性能优于 GRPO、TIS 这类强化学习范围培育模子性能的优化算法，且引入 R3 的所有组合步调全经由无崩盘，锻真金不怕火经由中锻真金不怕火-推理 KL 散度等恒久较低，在不影响锻真金不怕火速率的情况下，使得极点 token 比例减少一个量级。

当下，强化学习已成为培育大谈话模子身手的要道步调。但是，在 MoE 模子中，路由机制时时会引入不褂讪性，以致导致强化学习锻真金不怕火崩溃，但现存的引入伏击性采样机制等并弗成培育锻真金不怕火褂讪性。不同于此前遴选诸如丢弃相反较大的数据之类的变通步调，这篇论文的打算东说念主员但愿通过贬责路由漫步也即是 R3 来根人道贬责这个问题。

论文地址：https://arxiv.org/pdf/2510.11370

01.破解强化学习崩溃的要道步调，小米团队建议 R3

强化学习已成为大谈话模子后期锻真金不怕火的基石，应用大范围强化学习，大模子更长远、更平日推理，取得贬责复杂问题所需的高等身手，但其面对的要道挑战是何如均衡效劳和褂讪性。

当代强化学习框架频繁使用不同的引擎进行推理和锻真金不怕火用于部署，但这种架构上的折柳可能导致 token 概率出现不合，以致可能导致不幸性的强化学习崩溃。但是，现存的创新步调并弗成皆备贬责 MoE 模子上进行强化学习锻真金不怕火时出现的强化学习离线计策问题。

打算东说念主员建议的 R3，其使命旨趣是在序列生成技能从推理引擎拿获路由漫步，并将其获胜重放到锻真金不怕火引擎中。这已经由不错减轻锻真金不怕火和推理之间的差距，其显赫特征是不同引擎生成的逻辑向量的 KL 散度（量化两个概率漫步之间的相反进程，值越演义明两个漫步越接近）显赫裁汰，两个阶段之间概率相反显赫的 token 数目减少了大要一个数目级。

此外，该步调同期适用于在线计策（on-policy）和小批量（mini-batch）式离线计策强化学习（off-policy）场景。

论文提到了打算团队的三大主要孝顺：

1、系统识别和分析了 MoE 模子中锻真金不怕火和推理之间的路由漫步相反，强调了它们在锻真金不怕火不褂讪性中的作用；

2、建议 Rollout Routing Replay，它重用锻真金不怕火引擎里面的推理时候路由漫步，以配合锻真金不怕火和推理之间的路由行动；

3、将 R3 应用于多种强化学习斥地进行 MoE 强化学习，并标明 R3 在褂讪性和举座性能方面优于 GSPO 和 TIS。

02.可显赫减轻锻真金不怕火-推理相反，对 Agent 任务大有裨益

R3 的主要念念路是在锻真金不怕火前向传播经由中重用推理路由掩码 I，同期仍将 softmax 应用于锻真金不怕火逻辑以保握梯度流。

这种想象主要有两个主义：一是对皆锻真金不怕火和推理，确保锻真金不怕火重放技能使用的内行与推理技能遴荐的内行相匹配，从而排斥内行遴荐中的不匹配；二是保留梯度数据流，通过仅重放掩码，梯度仍然不错流回 logits 而不会干豫打算图，这有助于有用地优化路由器。

▲ 重放门控权重、重放输出 y 的打算样子

具体来看，R3 在效劳优化上，通过路由掩码缓存（Router Mask Caching）适配多轮对话场景，裁汰打算支出。

其论文提到，缓存的路由掩码具有一样的属性，关于疏导的前缀 token，MoE 路由器应该产生疏导的截止，因此来自推理引擎的路由掩码不错与前缀 KVCache 沿途缓存。

关于每个层和 token 前缀，相应的路由掩码都存储在 KVCache 中。当疏导的前缀出现并射中缓存时，这些掩码不错被重用，从而无需从头打算，这使得 R3 粗鄙与前缀缓存机制无缝集成。

打算东说念主员称，缓存路由掩码在 Agent 场景中有较大应用空间。举例软件工程和网页浏览等 Agent 任务，都触及自追思生成和器用调用之间的多轮交互，为了提高效劳，这些经由获胜重用了前几轮的 KVCache，因此无需从头生成已打算的数据。路由掩码缓存使 R3 粗鄙在强化学习代理任务中保握高效，而无需从头预填充以生成路由掩码。

为了讲明 R3 在减轻锻真金不怕火-推理相反上的有用性，打算东说念主员使用 Qwen3-30B-A3B 模子进行了考据，其将推理经由中取得的路由漫步缓存在 SGLang 上，并在 Megatron 框架内重放它们。

▲ 使用 Megatron 进行两次前向传播取得的概率

截止标明，应用 R3 后，锻真金不怕火和推理之间的 KL 散度从 1.5×10⁻³ 减小到 7.5×10⁻⁴，接近于众多模子的 6.4×10⁻⁴水平，这标明其锻真金不怕火-推理相反减少。

打算东说念主员还绘图了使用 R3 的锻真金不怕火-推理相反比率的蕴蓄漫步图，关于 MoE 模子，应用 R3 可将具有较大锻真金不怕火推理相反的 token 的频率裁汰一个数目级。

▲ a、MoE 模子中锻真金不怕火-推理相反的阐述，b、MoE+R3 模子中锻真金不怕火-推理相反的阐述，c、众多模子中锻真金不怕火-推理相反的阐述，d、极点 token 漫步函数

03.实测三大身手培育：举座性能、锻真金不怕火褂讪、优化生成行动

为了评估 R3 对强化学习的性能创新，打算东说念主员从 BigMath、ORZ 等开源数据集筛选约 10 万说念可考据数学题，领受 AIME24、AIME25、AMC23 和 MATH500 看成基准数据集进行评估，并在单次锻真金不怕火经由中每 5 个全局步调测量一次模子性能。

其遴荐的模子是 Qwen3-30B-A3B-Base 过火微调模子 Qwen3-30B-A3B-SFT。

评估样子是每 5 个全局步调记载模子性能，最终报告最好性能及对应锻真金不怕火步调，若模子后期性能骤降，同期跟踪锻真金不怕火崩盘步调”。

履行截止标明，举座性能上，R3 在多步更新场景，GRPO+R3 平均得分 68.05 分，比 GSPO 卓绝 1.29 分；GSPO+R3 进一步培育至 69.00，比单独 GSPO 高 2.24 分。

单步更新场景，SFT 模子上，GRPO+R3 平均得分 71.83 分，比 GRPO（62.23）高 9.6 分，比 GRPO+TIS（66.24）高 5.59 分；Base 模子上，GRPO+R3 平均得分 70.73，比 GRPO（61.69）高 9.04 分。

▲ 主要评估截止

打算东说念主员还发现，将 R3 与 TIS 相连使用并弗成带来廓清的性能培育，以致可能裁汰性能，举例在 SFT 模子的单小步斥地下，TIS+R3 的得分比单独使用 R3 低 1.69 分。由于 R3 已经显赫裁汰了锻真金不怕火和推理之间的计策相反，因此 TIS 的独特创新后果薄物细故。

锻真金不怕火褂讪性方面：如 GRPO、GRPO+TIS 等无 R3 的步调在单步更新场景中均出现崩盘，GRPO 在 60 步崩盘、GRPO+TIS 在 105 步崩盘。

引入 R3 后，所有组合步调均无崩盘，且锻真金不怕火经由中锻真金不怕火-推理 KL 散度等恒久较低。

▲ 多步更新锻真金不怕火-推理崩溃分析

优化与生成行动方面，在锻真金不怕火经由中，R3 还能增强优化褂讪性、探索行动和生成动态。下图是打算东说念主员绘图的单步 + 基础模子组锻真金不怕火经由中的序列长度、梯度范数、生成熵和评估分数。

▲ wen3-30B-A3B-Base 锻真金不怕火动态

截止显现，R3 具有更小的梯度范数、更平滑的序列增长模式和更褂讪的熵。履行中使用 R3 时，生成的序列长度在锻真金不怕火开动时飞快高潮，标明 R3 粗鄙快速捕捉到正确的优化地方，比较之下其他两个锻真金不怕火经由在第 80 步之后才逐渐高潮，况且波动更为廓清；R3 恒久保握较低的梯度范数，标明优化经由愈加褂讪；履行使用 R3 时，熵在大要第 25 步后开动稳步高潮，标明模子更早地开动探索更优计策，不使用 R3 时，熵高潮得更晚，况且波动较大。

04.结语：聚焦 MoE 模子锻真金不怕火艰难，小米建议新念念路

MoE 架构如今已成为彭胀当代谈话模子的基石，其领受门控汇集，对每个 token 寥落地仅激活一部安分行参数，从而将模子的总参数数目与其推理资安折柳开来，从而大幅培育了模子容量。但是，由于门控汇集的明锐性，MoE 模子容易受到锻真金不怕火不褂讪性的影响，这使得路由持重性成为有用模子拘谨的中枢挑战。

在这篇论文中，打算东说念主员在锻真金不怕火经由中重用推理时的路由漫步，以在保留梯度流的同期对皆内行遴荐。这种念念路或为行业提供了新的打算念念路。

本文来自微信公众号：智东西（ID：zhidxcom）欧洲杯体育，作家：程茜，原标题《小米 AI 新论文！雷军千万年薪要挖的 DeepSeek 天才青娥签字》

告白声明：文内含有的对外跳转流畅（包括不限于超流畅、二维码、口令等边幅），用于传递更多信息，省俭甄选时候，截止仅供参考，IT之家所有著作均包含本声明。

]article_adlist--> 　　声明：新浪网独家稿件，未经授权辞谢转载。 -->