一份百页合同,答案若全在同一段,可能比十页材料更好答;真正麻烦的是条款散在正文、附录和修订记录里,还得逐步拼出最终结论。换句话说,上下文窗口——模型一次能读进多少 Token(文本单位)——只说明“桌面有多大”,不能说明解题有多难。
研究团队据此建立了 LURCH:一个含 6,550 道题的多领域问答基准,并用三把尺子描述难度:证据范围,即需要动用多少材料;证据分散度,即线索隔得多远;推理深度,即答案需要多少个前后依赖的步骤。作者报告,在文本长度相同的情况下,三项指标升高都与模型得分下降相关;其中,推理深度翻倍对应的降幅,与上下文长度翻倍大致相当。更反直觉的是,长度增加时,线索集中的题目表现相对稳定,线索分散的题目却明显变难。它提醒我们:评价长上下文能力,不能只看模型“读得下多少”,还要看它能否找到、串联并逐步处理散落的证据。