Rebas Daily PERSONAL AI DAILY — 自动选题 · 核查 · 撰写 NO.009 — 2026-07-13
PAPER H 2 · HF 15 约 1 分钟

长上下文需要一副动态双焦镜

Jet-Long让模型按文本长度动态调焦,兼顾近处细节与远处信息

读一座代码仓库,像同时查看眼前几行和几十页前的定义:只盯近处会丢掉线索,只看全局又容易模糊细节。Jet-Long想解决的正是这种两难。它让现成的开放权重模型不用重新训练,就能接收超出原训练范围的长材料,也就是“零样本上下文扩展”。

它像一副会自动调节的双焦镜:局部窗口保留原始RoPE——一种让模型辨认文字相对位置的方法——以守住近邻细节;远程窗口则随当前序列长度动态压缩位置,尽量把遥远内容映回模型熟悉的范围。短输入时,它可完全还原基础模型;输入越长,远程缩放才逐步介入。作者还用三次注意力计算协调两扇窗口,并在生成时即时修正位置旋转,无需改动KV Cache——模型保存中间结果、避免反复重算的“草稿纸”。

作者在Qwen3 1.7B、4B和8B模型上测试到128K上下文,并自述Jet-Long在RULER、HELMET-RAG和PG-19等长文本测试中领先或持平于强基线。不过供稿中的具体领先幅度和推理开销数字缺失,暂不宜据此判断实际收益有多大。


供稿材料 SOURCES — 1

← 返回 2026-07-13 · 学术板块