本文提出通过缩放隐藏状态中的位置通道来缓解长上下文语言模型的位置偏差问题，并在多个模型和任务上验证了其有效性，特别是在“中间丢失”基准测试中显著提升了中间位置信息的利用率。
Large Language Model, Long Context, Transformer, Reasoning, Efficiency
Yijiong Yu, Huiqiang Jiang, Xufang Luo, Qianhui Wu, Chin-Yew Lin, Dongsheng Li, Yuqing Yang, Yongfeng Huang, Lili Qiu
Tsinghua University, Microsoft Corporation
Generated by grok-3
Background Problem
长上下文语言模型（LCLMs）能够处理较长的上下文，但在处理中间位置的关键信息时常表现出“中间丢失”（lost in the middle）的位置偏差问题，导致性能下降。已有研究从数据分布和位置嵌入（Position Embedding）角度分析了这一问题，但忽略了隐藏状态（Hidden States）中的位置信息可能也是偏差来源之一。本文旨在探索隐藏状态中位置信息对位置偏差的影响，并提出一种方法来缓解这一问题，从而提升模型对长上下文信息的利用能力。
Method
本文提出了一种通过缩放隐藏状态中的位置通道（Positional Hidden States）来缓解位置偏差的方法，具体步骤如下：
- 核心思想：隐藏状态中的某些通道包含与绝对位置相关的信息（称为位置通道），通过缩放这些通道的值，可以减少位置信息对注意力分布的影响，从而缓解位置偏差。
- 位置通道识别：设计了一个启发式搜索算法，利用单调性（Monotonicity）和平滑性（Smoothness）指标，从隐藏状态中筛选出可能的位置通道；然后在校准数据集上评估损失，选择最佳通道。
- 缩放操作：仅对最后一个token的注意力计算中的查询（Query）和键（Key）状态进行缩放，避免对模型整体性能产生过多干扰；缩放因子通过网格搜索确定，通常在{0.5, 0, -0.5, -1}中选择。
- 关键设计：缩放操作仅应用于模型中间层（如总32层中的第10-25层），以减少副作用；具体层选择和缩放方式基于工程经验。 批判性思考：虽然方法创新，但位置通道的识别和缩放操作缺乏理论支持，更多依赖启发式和经验，可能导致结果的不稳定性。此外，仅对最后一个token的注意力进行调整可能限制了方法对整体上下文的优化能力，适用场景较为狭窄。
Experiment
实验在多个开源模型（如LLaMA-2、Mistral、Vicuna、Gemma、Qwen、MPT）上进行，涵盖RoPE模型、上下文窗口扩展模型和Alibi模型，评估任务包括“中间丢失”基准测试（NaturalQuestions多文档问答和KV检索）和LongBench长上下文多任务基准测试。
- 数据集与设置：KV检索任务包含140个KV对（约10k token），多文档问答任务包含20个文档（约2.3k token），LongBench包含16个任务（平均37k token）。使用贪婪解码确保结果稳定。
- 结果：在“中间丢失”基准测试中，方法对大多数模型和位置的性能有显著提升，NaturalQuestions和KV检索任务平均提升分别高达9.3%和15.2%，尤其对中间和后部位置信息利用的改进明显（后四位置平均提升11.3%和16.8%）。相比基线方法Ms-PoE，本方法在不同类型模型上表现出更好的泛化性。
- LongBench结果：在综合长上下文任务中，性能提升不明显，平均成绩仅略有提高，某些任务（如单文档问答）提升高达9.2%，但整体影响有限。
- 副作用测试：在MMLU和时间线重排序任务中，方法未显著损害模型原有能力。 批判性思考：实验设置覆盖了多种模型和任务，较为全面，但对LongBench的提升有限可能表明方法对复杂任务的适用性不足。此外，实验中对层选择和缩放因子的依赖工程经验，缺乏系统性分析，可能影响结果的可重复性。结果虽然显示改进，但部分模型（如LLaMA-2-13B在KV检索中）提升不明显，甚至有下降，提示方法可能存在不稳定性。
Further Thoughts
本文提出的隐藏状态中位置信息的视角为研究位置偏差提供了新思路，但其方法依赖启发式搜索和工程经验，缺乏理论深度。未来可以探索更系统化的位置通道识别方法，例如通过神经网络的可解释性技术（如注意力可视化或梯度分析）来定位与位置偏差相关的隐藏状态维度。此外，缩放操作仅针对最后一个token的注意力计算，这种设计虽然减少了副作用，但可能忽略了上下文整体位置信息的动态交互，是否可以通过更全局的调整（如多token注意力权重调整）来进一步提升效果值得研究。另一个有趣的方向是结合位置嵌入和隐藏状态位置信息的联合优化，可能在长上下文任务中实现更平衡的注意力分布。最后，本文提到新模型（如Qwen2.5）在传统基准测试中已接近完美性能，这提示我们需要设计更具挑战性的长上下文任务或基准测试，以验证此类方法的实际价值。