Tag: Reasoning

All the articles with the tag "Reasoning".

• Massive Values in Self-Attention Modules are the Key to Contextual Knowledge Understanding

  Published: 4 May, 2025 |  at  04:27 PM

  

  83.39 👍

  本文系统揭示了自注意力模块中大规模值在LLM上下文知识理解中的关键作用，并通过实验证明其源于旋转位置编码（RoPE），为模型优化和量化策略提供新洞见。

• Think, Prune, Train, Improve: Scaling Reasoning without Scaling Models

  Published: 4 May, 2025 |  at  04:31 PM

  

  82.99 👍

  本文提出 Think, Prune, Train 框架，通过迭代监督微调和基于正确性的数据修剪，实现模型在不增加规模的情况下提升推理能力，避免模型坍缩。

• LIFT: Improving Long Context Understanding of Large Language Models through Long Input Fine-Tuning

  Published: 4 May, 2025 |  at  04:27 PM

  

  82.62 👍

  本文提出LIFT框架，通过长输入微调和Gated Memory适配器提升短上下文LLMs的长上下文理解能力，实验显示显著性能改进。

• Codenames as a Benchmark for Large Language Models

  Published: 4 May, 2025 |  at  04:27 PM

  

  77.18 👍

  本论文提出使用Codenames游戏作为LLMs推理能力的基准，通过实验评估不同LLMs在语言理解、战略推理和合作方面的表现，展示了它们的独特行为和泛化潜力。

• Humanity's Last Exam

  Published: 4 May, 2025 |  at  04:28 PM

  

  58.39 👍

  本文引入HUMANITY'S LAST EXAM基准测试，通过专家创建的挑战性多模态问题，解决现有LLM基准饱和问题，评估模型在封闭式学术任务中的能力。