Tag: Associative Recall

All the articles with the tag "Associative Recall".

• LoLA: Low-Rank Linear Attention With Sparse Caching

  Published: 1 Jun, 2025 |  at  11:40 AM

  

  88.31 🤔

  LoLA通过结合线性注意力、滑动窗口和稀疏缓存三种内存形式，在推理时有效缓解记忆冲突，显著提升线性注意力模型在长上下文关联回忆和语言建模任务上的性能，同时保持高效内存使用。

• Test-time regression: a unifying framework for designing sequence models with associative memory

  Published: 7 May, 2025 |  at  12:16 AM

  

  71.71 🤔

  本文提出一个基于测试时回归的统一框架，通过将关联回忆形式化为回归问题，推导出多种序列模型（如线性注意力、状态空间模型、softmax注意力），并通过合成实验验证其回归能力，同时提出高阶注意力泛化。