挑本地 AI 模型,像给小厨房选电器:服务器榜单上的冠军再强,放不进你的设备也没用。smolbenchmark 把问题换成“8GB 内存里谁真能跑、跑起来是否划算”,面向手机、平板、Mac 和边缘设备,而不是默认配有强力 GPU 的服务器。
据作者在 Reddit 介绍,目前上线的是 Jetson Orin Nano Super 8GB 数据,覆盖 13 个模型家族、约 1000 种配置。它同时测 tok/s(每秒生成多少 token,可粗略看作出字速度)、tok/J(每焦耳生成多少 token,用来看能效)、ITL(连续两个 token 之间的等待时间),以及功耗、温度和电池表现。价值不在另排一张“最聪明”榜单,而是让用户按自己的硬件挑到装得下、速度合适,也不至于太费电或过热的模型。
不过项目仍在重度开发中;作者称树莓派、手机和 Mac mini 的数据尚未补齐,目前结论不能直接外推到所有 8GB 设备。