Tag: Long Context

All the articles with the tag "Long Context".

• M+: Extending MemoryLLM with Scalable Long-Term Memory

  Published: 3 Jun, 2025 |  at  11:27 AM

  

  90.20 🤔

  M+通过引入长期记忆机制和协同训练的检索器，显著扩展了MemoryLLM的知识保留能力至超过160k token，并在长上下文任务中优于基线，同时保持较低GPU内存消耗。

• Skywork Open Reasoner 1 Technical Report

  Published: 3 Jun, 2025 |  at  11:44 AM

  

  88.60 🤔

  Skywork-OR1通过提出MAGIC框架，利用多阶段训练和自适应熵控制的强化学习方法，显著提升了长链式推理模型在数学和编码任务上的性能，并在AIME24和AIME25基准上超越了DeepSeek-R1和Qwen3-32B。

• A Training-Free Length Extrapolation Approach for LLMs: Greedy Attention Logit Interpolation (GALI)

  Published: 3 Jun, 2025 |  at  11:26 AM

  

  85.88 🤔

  本文提出了一种无训练的长度外推方法GALI，通过贪婪局部化位置插值和注意力逻辑值插值，显著提升了大型语言模型在长上下文任务中的稳定性和性能，同时避免了输入长度特定调优的需求。

• LongReD: Mitigating Short-Text Degradation of Long-Context Large Language Models via Restoration Distillation

  Published: 1 Jun, 2025 |  at  11:52 AM

  

  90.28 🤔

  本文提出LongReD方法，通过长文本训练、短文本蒸馏和短到长蒸馏的多目标训练策略，有效缓解了长上下文大语言模型在短文本任务上的性能下降，同时保持或提升长文本处理能力。

• Does quantization affect models' performance on long-context tasks?

  Published: 2 Jun, 2025 |  at  11:34 AM

  

  87.84 🤔

  本文系统评估了量化对大型语言模型在长上下文任务中的性能影响，发现8-bit量化基本保持准确率（下降约0.8%），而4-bit量化导致显著损失（最高达59%），且影响因模型、任务和语言而异，强调了在长上下文和多语言场景下谨慎应用量化的必要性。