淘宝MNN团队开源0.3B手机模型,苹果iPhone 18 Pro离线 tokens

发布时间:2026-11-06 13:34

  ,面向手机应用的任务需求与资源预算,在有限算力、内存和能耗下,兼顾任务能力、响应速度与持续运行体验。

  。即使手机拥有 8~16GB 内存,也需要由系统与多个应用共享。以约 500MB 的模型模块预算为例,将推理峰值控制在 300MB 以下,可以为上下文增长和集成开销保留余量。

  功耗上,在典型推理负载下,单次推理增量能耗目标不超过参考手机电池能量的万分之一,

  能力上,以在指定业务场景上达到 8B 级模型的效果为目标,兼顾中英文理解、世界知识与数学、代码推理能力,重点强化指令遵循,并为长上下文与多步骤任务保留扩展空间。

  MNN 团队从零设计并训练了这个约 3 亿参数、重点支持中文与英文的轻量语言模型,将模型结构、词表、训练数据、预训练与后训练方法,以及量化和推理引擎纳入协同优化,为淘宝业务与开源社区开发者提供一个具备任务理解能力、响应迅速、易于适配和集成的模型底座。

  ,包含模型权重、分词器、计算图和推理配置。在 iPad Pro M5、Metal 后端、512token 测试配置下,模型加载与推理期间的峰值 Metal 驻留内存相对加载前基线%。对于手机应用原生大模型,较小的部署体积能够降低模型下载与更新成本,较低的运行内存则为页面、、等业务模块保留更多空间,降低应用集成的资源负担。

  团队在苹果与 Android 设备上,使用 Metal、OpenCL 和 CPU 后端评估推理吞吐。测试采用 MNN 3.6.2、INT4 量化及统一运行设置,每组配置预热一次、测量五次,取吞吐中位数,Prefill 与 Decode 分别测量。

  确定规模后,团队进一步在相近参数预算内,联合调整模型深度、隐藏层宽度、前馈网络与注意力配置。从 16 层增加到 28 层带来了能力提升;继续增加到 36 层,评测均分没有进一步提高,解码吞吐却从 355token/s 降至 323token/s。这里的吞吐用于架构选型对比,与前述最终部署版本的测试配置不同。

  面向中文互联网手机应用,MNN-Pocket-0.3B 将中文与英文作为重点支持语言,降低对其他语言分词效率的优先级。基于 Qwen3 分词器,团队将词表从约

  在能耗方面,团队还在一加 13上,使用 MNN 对 MNN-Pocket-0.3B 的 4-bit 模型进行了功耗测试。在 CPU4 线 基准负载下,通过采集电池电流与电压,并扣除闲置基准耗电,三轮测试折算的平均增量能耗约为2.7J / 轮

  74.59,在所比较模型中均取得最高分。在覆盖中英文知识、推理、数学、代码与指令遵循的 11 项评测中,模型平均得分达到50.00

  西安一初创公司给每位面试者发50元路费 创始人:深知求职奔波之苦,已送出170份路费与感谢信

  终于不降级了!AMDGPU修复HDMI 2.2 FRL支持:16/20/24Gbps满速跑

  小弟骑到大哥头上!RTX PRO 5500定价反超RTX PRO 6000:售价超12万元

  少年回望,与先辈跨时空对望!昆明理工大学附属小学学生余卓谚,在心中种下红色火种 #金沙铸魂青春传薪 #红星照耀云南

排行

精选