小米 MiMo 今天公布面向 MiMoV3 的核心架构 HySparse2，瞄准下一代长上下文 Agent。新架构旨在让模型以更低成本处理网页、文件、代码和工具调用记录，并从不断增长的任务历史中更准确地检索关键信息。

　　从 Xiaomi MiMo-V2 系列开始，我们持续探索模型能力与计算效率的共同提升。MiMo-V2 系列采用的 Hybrid SWA 混合注意力架构，将全注意力与滑动窗口注意力结合，在保持模型效果的同时，让训练和推理更加高效。

　　过去半年，我们持续推进强化学习技术的探索与试验，将积累的训练经验应用于近期发布的 MiMo-V2.6 系列，推动模型能力显著提升。在持续推进 V2 系列的同时，面向 MiMo-V3 的新一代架构研究也一直在进行。此前公开的 HySparse，正是这条探索路线上的第一步。

　　今天，我们公开 MiMo-V3 的核心架构 HySparse2。在 HySparse 的基础上，它进一步升级了 KV 共享与稀疏选择机制，让模型更高效更精准地处理长上下文。

　　一次简短的工具调用，可能带回一整页网页、一份文件，或长长的执行日志。Agent 每向前一步，都要处理新的输入；随着任务推进，还要从不断增长的历史中，找准下一步需要的信息。

　　模型会把已读内容的表示保存在 KV Cache 中，供后续生成使用。读入新增内容并建立这些缓存的过程，称为 Prefill。在多轮 Agent 任务中，每次工具返回新信息，都需要再次处理新增输入。因此，新架构需要同时满足三个要求。

　　第一代 HySparse 已经迈出了一步。它用少量 Full Attention 层提供 KV Cache 和重要位置的选择结果，让后续 Sparse Attention 层直接复用，从而降低注意力计算与缓存开销。但在 HySparse 架构中，Prefill 仍然需要执行所有层；面对多轮、长距离的信息检索，块级选择也有进一步提升精度的空间。HySparse2 围绕这些问题，引入了两级 KV 共享、token 级稀疏选择，以及统一的局部信息访问方式。

　　后半部分的每个 Full Attention 层，都从前半部分对应 Full Attention 层的输入隐藏状态中，生成自己的 KV Cache。每个目标层保留独立的 K/V 投影，因此即使使用同一份源隐藏状态，也可以构建不同的 KV。

　　这样，后半部分 Full Attention 层的 KV 就不必等到输入逐层经过它们后才能得到。生成这些缓存所需的信息，在前半部分就已经具备。

　　这保留了 HySparse 的核心设计：少量全注意力层提供全局信息与选择结果，多层稀疏注意力高效使用这些信息，无需额外训练一个独立的选择器。

　　第一代 HySparse 采用块级稀疏选择。在长上下文中，为了选中一个重要 token，模型往往也会把它周围的一整块内容纳入计算。Agent 所需的线索可能分散在不同轮次的对话、工具结果和代码片段中。HySparse2 改为 token 级选择，让同样的注意力预算可以更精细地分配到这些位置。在相同全局 token 预算下，Token 级选择在 RULER-v2、多轮检索 MRCR-v2 和图推理 GraphWalks 上均获得提升，验证了更细粒度选择对这类任务的价值。

　　全局检索之外，模型仍然需要稳定地看到最近的上下文。HySparse2 会强制选中最近的 128 个 token，再从窗口外选择 1,024 个全局 token。两部分共同读取 Full Attention 层提供的共享 KV Cache。

　　因此，稀疏层不再需要单独的 SWA 分支和局部 KV Cache。HySparse 中由独立分支承担的局部信息访问，在 HySparse2 中被合并到同一次稀疏注意力计算里。

　　这也解除了一项关键依赖：独立 SWA 分支的缓存原本来自该层自己的隐藏状态，构建它需要继续执行后半部分 Cross-Decoder 的计算。合并后，局部与全局信息都能使用在 Self-Decoder 阶段就已准备好的 KV。

　　局部信息仍然重要。HySparse2 的消融实验显示，强制局部窗口在多项长文任务上保持竞争力，部分指标也存在取舍；这一设计同时省去了独立 SWA 分支的投影参数与 KV Cache 开销，为 Prefill 提前退出创造了条件。

　　两级 KV 共享与局部窗口的合并，使模型后半部分所需的全部 KV Cache 都能从前半部分的隐藏状态构建。完成 Self-Decoder 的计算和 KV Bridging 投影后，输入的 KV Cache 构建即可结束。

　　这使优化从减少注意力计算，进一步延伸到缩短长输入经过模型的计算路径。生成阶段仍然保留完整网络，继续使用后半部分的全局检索与建模能力。

　　预训练后，HySparse2 保持了大体相当的通用能力，长上下文表现更好。经过相同的轻量后训练后，在最高 256k 的评测范围内，HySparse2 在各项已测长度上都获得了更高的 MRCR-v2、RULER-v2 分数，以及更低的 AgentPPL、LongPPL。前两项考察长上下文中的检索与问答；后两项衡量模型对多轮 Agent 轨迹和依赖远距离信息的 token 的预测能力。相对第一代 HySparse，MRCR-v2 和 RULER-v2 在各报告长度上的平均分分别提高了 11.30 和 19.81 个百分点。

　　这些结果表明，更少的 KV Cache 与更短的 Prefill，可以与更好的长文检索共同实现。HySparse2 为多轮、长上下文 Agent 提供了更高效的架构基础。

　　Agent 完成一项任务，需要不断读入信息、生成行动，再根据返回的结果继续推进。每一轮的效率，都影响着用户最终需要等待多久。

　　此前，MiMo-UltraSpeed 通过模型与系统协同设计，采用了低比特量化，投机解码，MegaKernel 等技术，探索更快的 Decode；今天，HySparse2 进一步降低长上下文的 Prefill 与缓存开销。两项工作分别从输入处理和输出生成入手，推动模型更高效地完成任务。

　　面向 MiMo-V3，我们希望把这些探索结合起来，在持续提升模型智能的同时，为用户带来同等模型规模下更快的 Prefill 和 Decode，帮助用户更快地完成更复杂的任务。