1.5TB压到214GB:腾讯混元Hy4 preview轻量版发布开源

发布时间:2026-09-01 17:39

  注:Hy4 preview 是腾讯于 8 月 28 日发布并开源的新一代 MoE大语言模型,总参数量 770B,激活参数 49B,上下文长度达 100 万 Token。

  此次压缩依托两项核心技术:其一是 Sherry 稀疏三值量化算法,将路由专家层权重压缩至平均 1.25 比特;其二是 MIX-STQ1_0 混合精度策略,依据校准数据逐层决定每层的量化位宽,敏感层保留较高精度,不敏感层采用更激进的 STQ1_0。

  两种技术结合,使模型在主流任务上表现稳定 —— 长文理解几乎与原始 BF16 模型持平,多轮长上下文检索基本在同一水平,数学能力仅小幅回落。MCP Atlas 得分从 83.7 微降至 83.2,SWE-Bench multi 从 82.9 降至 81.3。

  BF16 即 bfloat16 浮点格式,是 AI 训练中常用的低精度数值格式;bpw指每个权重参数平均占用的比特数,数值越低压缩率越高。

  在异构设备联合推理方面,腾讯混元与 prima.cpp 合作验证了一项新方案:在一台配备单张 4090 的笔记本与一台四卡 A4000 服务器上,通过 prima.cpp 的异构调度将 MoE 层拆分分配,使 214GB 的轻量版模型达到 1.02 token/s 的推理速度,比笔记本单机 offload 快约 6 倍。

  特别

  招录比2000:1!此前吉隆出入境边防检查站招录1人,报名2006人,网友:直到泥石流袭来,才读懂这份岗位的千钧重量

  男子被解约后对公司心存不满,进入直播间后台,将100克金条从104100元改价为8元买走;因诈骗罪被判刑并处罚金3万元

  杨瀚森被场边球迷扔球砸,诸暨市教体局:已对其身份进行排查;工作人员猜测球迷可能想扔对方球员,但没扔准

  “神兽”初入笼,听取“哇”声一片。直击幼儿园小班开学第一天。#幼儿园 #开学 #萌娃

排行

精选