IT之家 8 月 26 日消息,Artificial Analysis 于 8 月 24 日发布博文,宣布携手 Liquid AI,发布面向手机端的 AI 跑分基准,重点关注 AI 模型在苹果 iPhone 17 Pro 上的表现。
其中 Artificial Analysis 负责智能水平测试系统,Liquid AI 负责推理性能测试系统,双方选用 5 项基准测试:
BFCL(Berkeley 函数调用排行榜)
IFBench(指令遵循测试)
AA-Omniscience(知识与认知相关测试)
GPQA Diamond(高难度问答测试)
MATH-500(数学问题测试)。
测试模型对象为 4 bit 量化后体积不超过 8GB 的模型,示例包括 Gemma 4 E2B 和 LFM2-2.6B-Exp。
当上下文长度限制为 16K tokens 后,平均基准测试得分最高的是 Nanbeige4.2-3B 和 LFM2.5-2.6B。当响应时间限制为最长 1 分钟时,LFM2.5-8B-A1B 排名第 1,随后是 LFM2-2.6B-Exp、Gemma 4 E4B(Non-reasoning)和 Granite 4.1 8B。
Nanbeige4.2-3B 是 BOSS 直聘旗下的南北阁实验室推出,仅含 30 亿非嵌入参数(总参数约 40 亿),采用 Looped Transformer 架构,通过在不增加参数量的前提下复用 Transformer 层(循环两遍),提高模型的有效计算深度和容量。





IT之家附上相关截图如下:

