同一套浏览器端 AI,在一台电脑上跑得顺,换块显卡却可能明显变慢。原因是 GPU Kernel——交给显卡并行执行的小段底层程序——对分块方式、线程布局和浏览器环境很敏感。GPU Goldmines 想解决的,正是 WebGPU“到处能运行,却未必到处跑得快”的问题。
它把矩阵乘法、矩阵—向量乘法和 Flash Attention 做成可调内核,在目标设备上试验不同配置,再把测量结果存入中央数据库。最值得注意的是跨设备落差:作者在 RTX 5080、RX 7900XT、Arc B580 和 M2 GPU 上穷举部分配置后发现,为一台设备选出的 FP16 矩阵乘法配置,移到另一台设备时,平均只能发挥后者潜在性能的 77%。这说明跨平台不能只靠一套固定参数。
数据库还能减少重复摸索。作者称,面对未见过的设备,用历史配置作为搜索起点,可比从零调优快 52.4%;对数据库已有设备和固定输入尺寸,简单选择策略平均达到逐项深度调优性能的 90%。不过,论文文本未完整给出相对 ONNX Runtime、llama.cpp 及端到端推理的具体加速数字;代码和数据也计划在发表后开源。