Tag: Attention Mechanism

All the articles with the tag "Attention Mechanism".

• MateICL: Mitigating Attention Dispersion in Large-Scale In-Context Learning

  Published: 6 May, 2025 |  at  11:13 PM

  

  85.27 🤔

  本文提出 MateICL 框架，通过分割上下文窗口并引入注意力校准层解决大型语言模型在大规模上下文学习中的注意力分散问题，实验证明其在多种 NLP 任务中有效提升性能并保持稳定性。