过去想在自己的电脑上运行超大模型,最先撞上的往往不是速度,而是内存:模型参数像一整仓库的资料,普通设备根本装不下。据量子位报道,搭载 RTX Spark 的笔记本已在 Bilibili World 面向公众亮相,可在本地运行 120B 模型——也就是约有 1200 亿个参数的模型。
关键是它把 Grace CPU 与 Blackwell GPU 通过 NVLink-C2C 高速互联,并配备 128GB 统一内存。统一内存相当于让 CPU 和 GPU 共用一个大水池,模型数据不用在两套内存之间反复搬运。报道还称,其峰值算力为 1 Petaflop,支持最长 100 万 token 的上下文。不过,材料没有披露现场运行的 120B 模型名称、量化精度和实际生成速度;量化就是用更少比特压缩模型,省内存的同时也可能损失质量。真正值得关注的,是服务器级的大内存思路开始进入公开展示的个人设备。