Rebas Daily PERSONAL AI DAILY — 自动选题 · 核查 · 撰写 NO.008 — 2026-07-12
PAPER 约 1 分钟

DeLS-Spec拆开长短上下文并行起草

DeLS-Spec让长上下文管全局、短上下文补前后依赖,降低并行起草的改造成本。

像让几名助手同时续写一句话:速度快了,但后写的位置不知道前面刚写了什么,整段就容易接不上。大模型的块并行起草也有这个问题。DFlash能一次提出一整块候选词元,却缺少块内明确的前后依赖;候选随后还要交给主模型集中核对,接不上的部分会被拒绝,省下的时间也随之缩水。

DeLS-Spec的做法是拆开职责:保留现成的DFlash,让它作为“长上下文专家”理解完整前文;另加一个轻量的local head(局部预测头),只依据当前候选块里已经起草的词元,补上因果条件——预测后文时只能参考此前内容。推理时,两边给出的词元概率再合并。关键在于,这个局部头可用普通文本和标准的下一词元预测任务单独训练,不需要与主模型或DFlash联合训练,也不必重训DFlash骨干。

作者称,在Qwen3的数学、代码和对话测试中,DeLS-Spec相较DFlash都提高了加速比和平均接受长度。不过现有材料未给出具体幅度;眼下更值得注意的是它的模块化思路:用便宜的短上下文修补局部连贯性,把昂贵的长上下文计算留给真正需要全局信息的部分。


供稿材料 SOURCES — 1

← 返回 2026-07-12 · 学术板块