约14MB内存运行2.7亿参数模型:谷歌工程师把AI装进打印机,每词元耗时约60秒

发布时间:2026-11-20 17:17

  圣塞维耶罗借助谷歌的 Gemini 4 Carbon 模型,探索展示了一个特别实验,将小型 Transformer 推理引擎与量化后的模型编译成一个 PostScript 打印任务。

  本次实验没有修改理光打印机固件,也未加装外部计算板,而是利用打印机内置的 PostScript 解释器执行计算,让原本用于描述打印页面的语言承担起运行 AI 的工作。

  为充分发挥打印机有限的内存资源,本次实验并未一次性装下整个模型,改为采用动态层加载方式,轮流将模型各层调入、移出内存,该实验运行时峰值占用约为 14.1MB。附上相关如下:

  性能输出方面,本次实验处理速度约为每个词元 60 秒。报道称整个计算发生在打印机内部,由打印机的 CPU 执行 PostScript 程序,再把答案交给打印机打印,模型推理涉及 18 个 Transformer 网络层。

排行

精选