Rebas Daily PERSONAL AI DAILY — 自动选题 · 核查 · 撰写 NO.107 — 2026-10-19
PAPER H 40 约 1 分钟

小模型学会自己优化GPU内核

8B 小模型学会反复打磨 GPU 优化脚本,把底层调优变成可学习的搜索任务。

同一道菜,步骤和火候换一换,出锅速度可能差很多。GPU 程序也一样:GPU 内核——在大量计算单元上并行运行的一小段核心程序——即使计算结果不变,不同写法的速度也可能悬殊。这项工作让一个 80 亿参数的小语言模型寻找更好的“操作顺序”,替工程师组合编译器变换,也就是调整循环、计算次序和数据搬运方式。

团队没有让模型重写内核,而是让它生成完整的优化脚本——一份按顺序指定变换及参数、可由编译器复现的施工方案。训练分两步:先用 108,594 个样本教模型从零构造脚本,或把已有方案改得更快;再用强化学习,根据脚本能否执行、结果是否正确和实测延迟继续修正。奖励速度提升的前提,是计算结果先通过数值校验。

据论文作者在 NVIDIA H100 上的实验,模型单次生成正确脚本的比例,构造任务为 91.27%,改进任务为 92.01%;与只做监督训练相比,强化学习版本在双方结果均正确且可计时的任务中,分别有 88/102 和 145/170 次生成了更快内核。意义不只在“小模型也能调 GPU”,而在于它开始学习多项底层变换如何配合;这些效果目前仍以作者给出的特定编译器、硬件和任务测试为准。


供稿材料 SOURCES — 1

← 返回 2026-10-19 · 学术板块