谷歌DeepMind技术团队成员奥马尔·圣塞维耶罗介绍了一项将AI推理搬进办公激光打印机的实验。该实验无需改动固件或增加外部计算板,借助谷歌Gemini 4 Carbon模型,将小型Transformer推理引擎和量化模型编译成Post打印任务,由打印机原有Post解释器执行模型计算,全部计算在设备内部由打印机CPU完成。实验运行约2.7亿参数的Gemma 3 270M模型,通过动态层加载适配有限内存,运行时峰值内存占用约14.1MB。模型推理涉及18个Transformer网络层,生成一个词元约需60秒,预填充阶段处理输入提示耗时约184秒,解码单个生成词元耗时0.1秒。
