Tag: Long Context

All the articles with the tag "Long Context".

• Putting It All into Context: Simplifying Agents with LCLMs

  Published: 19 May, 2025 |  at  11:19 AM

  

  86.55 🤔

  本文提出基于长上下文语言模型（LCLM）的‘state-in-context’代理设计，通过将整个环境状态纳入上下文简化软件工程任务的代理架构，在SWE-bench Verified上实现与复杂脚手架方法相当的性能（Gemini-2.5-Pro达到50.8% pass@1）。

• Can LLMs Maintain Fundamental Abilities under KV Cache Compression?

  Published: 26 May, 2025 |  at  11:22 AM

  

  86.44 🤔

  本文通过KVFundaBench基准系统评估KV缓存压缩对大型语言模型基本能力的影响，揭示任务依赖性性能降解，并提出ShotKV方法，通过区分预填充和解码阶段压缩策略，在长上下文生成任务上显著提升性能。

• Round and Round We Go! What makes Rotary Positional Encodings useful?

  Published: 17 May, 2025 |  at  11:19 PM

  

  85.92 🤔

  本文通过理论和实证分析揭示了旋转位置编码（RoPE）在大型语言模型中通过高频构建位置注意力模式和低频传递语义信息的作用机制，并提出p-RoPE方法通过截断低频提高长上下文鲁棒性，在Gemma 2B模型上取得性能提升。

• Explaining Context Length Scaling and Bounds for Language Models

  Published: 26 May, 2025 |  at  11:40 AM

  

  85.38 🤔

  本文从内在空间视角提出理论框架，解释上下文长度对语言模型损失的影响，推导出与数据集大小相关的最优上下文长度，并通过自然语言和合成数据实验验证假设。

• Rethinking Memory in AI: Taxonomy, Operations, Topics, and Future Directions

  Published: 7 May, 2025 |  at  09:31 AM

  

  85.11 🤔

  本文通过提出AI记忆系统的分类（参数、上下文结构化和非结构化）和六种基本操作（整合、更新、索引、遗忘、检索、压缩），系统化地综述了长期记忆、长上下文、参数修改和多源记忆等研究主题，并展望了未来方向。