上下文装得下,不等于资料都用上
本文目录

找到支持这个回答的原段,再连同上下文一起读。
手头有一大组资料时,更大的上下文窗口听起来很有用:能放进更多材料,不必舍掉那么多内容。但输入装得下,并不能说明模型回答眼前问题时,能多可靠地用到其中某一段。
输入容量,与为一项任务利用信息的能力,是两回事。 一组受控实验,比窗口大小这个参数更能说明这项区别。
移动段落,答案不变
Nelson F. Liu 等人的《Lost in the Middle: How Language Models Use Long Contexts》于 2024 年发表于 TACL。下面讨论的实验细节,依据作者的 arXiv v3,页面标注日期为 2023 年 11 月 20 日。
在多文档问答任务中,研究者提供一个问题,以及10、20或30个 Wikipedia 短片段。实验按设计指定其中一份包含标准答案,其余作为干扰材料。他们移动含答案片段在输入中的位置,同时保持目标答案不变。
移动段落,并没有让问题需要另一个答案。但被测模型往往在相关信息位于开头或结尾时表现较好,位于中间时较差。对于同样能放进较小窗口的材料,长窗口版本也未必更善于利用。
评分看的是模型输出中是否出现标注的正确答案。这适合考察这里的查找与问答,却没有评价回答是否形成了完整、依据充分的论证。
所以,这项发现比“长文档比较难”更具体:受控文字输入里已经有需要的片段,仅仅改变位置,仍可能改变模型是否给出预期答案。
重复问题,在另一项任务里更有效
研究者还测试了随机标识符配对中的查找。键和值都是 UUID 字符串,给定一个键,要求模型返回与它配对的值。这尽量去掉了从自然语言段落回答问题时涉及的语义;部分被测模型在这项任务上原本就接近全对。
把查询同时放在资料之前和之后后,各被测模型在所测配对数量下的查找表现都接近全对。同一种安排,却没有明显改变多文档问答中随位置变化的表现趋势。
因此,成功找回一个标识符,并不能说明模型同样善于用一段材料回答自然语言问题。一种提示安排对某项任务有帮助,也不是通用保证。这些发现没有提供一套可靠处方,让所有重要内容放在首尾、重复问题或把任何任务分批处理就一定奏效。
这是旧模型与特定任务的结果,不能当成对 2026 年所有工具、摘要或编程能力的判决。实验控制的是实际文字输入,没有测试某项服务是否纳入上传文件、是否访问所给链接;后者是服务究竟提供了哪些材料的问题。
先让一个回答的依据可读回
用于日常资料工作,一个编辑建议是先问清一件具体事情,让支持答案的段落能被自己读回。例如整理访谈记录时,可以问:
是否有受访者描述过排班变化之后遇到的问题?请引用支持回答的原段,注明文档与位置。保留相关限定或相反经历,不要推断记录里没有的体验。
接着回到原段,连同上下文一起读,判断它是否支持回答中的主张。文档名或位置标记的价值,在于能把你带回真正被用作依据的原话。
这样可以检查眼前答案的依据,却不能说明每份资料都已被充分考虑。如果真正的问题需要综合多份访谈,就还要保留相关限定与相反证据。为了缩短输入而删掉这些段落,可能改变问题的实质,即使剩下的内容更容易装进窗口。
这个做法是我们的编辑建议,不是论文验证过的通用干预。你要争取的成果很具体:一个有原段可查的回答;更广泛的资料覆盖是否充分,仍需另行确定。