据介绍,该模型通过 Loop 结构复用模型层的参数,并结合流形约束超连接,在有限的参数规模下扩展计算深度,面向复杂推理、代码、工具调用和多模态任务,进一步优化模型在 Agent、代码与数据分析任务中的表现,持续探索循环计算的能力边界。
寒武纪表示,针对 SenseNova Loop-9B 的架构特点,寒武纪基于 vllm_mlu 完成 Day 0 适配,打通模型在 MLU 平台上的推理链路。本次适配主要围绕 Loop 循环结构、MLU 算子适配、mHC 路由优化三个方向展开。附三大方向具体适配内容如下:
1. Loop 循环层展开:静态展开计算,复用标准推理机制Loop 循环结构是 SenseNova Loop-9B 模型适配的核心技术点之一。SenseNova Loop-9B 使用约 9B 的模型参数,通过循环执行共享的中间层,将 32 个物理解码层扩展为 56 次层计算。 正是得益于 Loop 的高效循环结构,模型官方 4bit 量化后权重仅约 4.9GB,部署显存需求低至 10 GB 内,能显著拓宽可部署的硬件范围,有助于降低本地与私有化部署门槛。 为了兼容 vLLM 现有的模型执行与调度机制,寒武纪采用静态展开方案,将循环计算转换为 56 个顺序执行的层,使模型能够复用 vLLM 标准调度和 KV cache 机制。在实现过程中,不同执行槽位的循环层共享同一份权重存储,显存占用与 32 层模型相同。2. MLU 算子适配:复用成熟算子实现,支持多模态推理针对模型中的 Attention、Linear Attention 和 MLP 等核心计算模块,寒武纪将其替换为 vllm_mlu 中已有的 Qwen3-Next 系列 MLU 算子实现,复用现有算子能力,从而快速实现模型适配。 在多模态部分,复用 Qwen3.5-VL 的 MLUQwen3_VisionTransformer 和多模态 Processor,实现图像输入处理及
特别
我儿子今年35岁,每月收入6800,在我[*]乞白赖的逼迫下,他结婚了,可我现在却后悔了,不该劝他结婚
汽车圈新瓜!网传东风日产内部聊天记录流出,NX7预售预估订单可达2万+,高管决定暂不公布订单战报
济南市历下区燕山小学教育集团将出席2026第四届课博会,解码“做中学”视域下小学科学教育生态构建










