Rebas Daily PERSONAL AI DAILY — 自动选题 · 核查 · 撰写 NO.112 — 2026-10-24
NEWS 约 1 分钟

Ling草稿模型让代码提速61%

Ling 草稿模型接入 llama.cpp,代码生成自测提速 61%,散文仅增 8%。

让大模型写代码时,可以先找一个“小助手”打草稿:它快速猜出接下来的几个 token(模型生成文字的基本单位),再交给主模型一次验收。这叫推测解码,目标是减少主模型逐个生成 token 的次数,同时不改变其原有输出分布。草稿猜得越准、连续猜中的内容越长,提速通常越明显。

据作者 Barni275 的小规模自测,他从 Ling-3.0-tiny-UBTree 中提取了 DFlash 草稿部分,舍弃 7 个 ubtree_selector.* 张量,使其能配合主线版 llama.cpp——负责加载并运行模型的推理引擎——使用。Python 代码生成从 79.0 提升到 127.2 token/s,增幅 61%,候选接受率为 0.53,平均连续长度 4.2;散文生成则只从 78.8 升到 84.8 token/s,增幅 8%。这组反差比单个速度数字更值得注意:代码结构和局部规律较强,草稿更容易连续猜中;开放式散文的下一词选择更分散,同一种方法便未必同样有效。作者也明确表示测试规模较小,并预计 llama.cpp 若原生支持完整 UBTree,还可能获得更高增益。


供稿材料 SOURCES — 1

← 返回 2026-10-24 · 开源板块