Tag: Reasoning

All the articles with the tag "Reasoning".

• Born a Transformer -- Always a Transformer?

  Published: 2 Jun, 2025 |  at  11:33 AM

  

  87.20 🤔

  本文通过检索和复制任务研究Transformer的长度泛化限制，发现预训练选择性增强了归纳能力（向右/向前任务），但无法克服架构固有局限，微调可平衡不对称性但仍受理论约束。

• Don't Overthink it. Preferring Shorter Thinking Chains for Improved LLM Reasoning

  Published: 30 May, 2025 |  at  11:15 AM

  

  87.20 🤔

  本文挑战了推理 LLMs 中更长思考链提升性能的假设，提出 *short-m@k* 推理方法，通过优先选择较短推理链实现高达 34.5% 的准确率提升和 40% 的计算量减少，并通过微调验证了短推理链训练的有效性。

• Deciphering Trajectory-Aided LLM Reasoning: An Optimization Perspective

  Published: 28 May, 2025 |  at  11:20 AM

  

  87.20 🤔

  本文提出RaML框架，从元学习视角将LLM推理轨迹视为伪梯度更新，通过理论分析和实验验证了推理与优化的关联，并探索了训练策略和轨迹特性对推理能力的提升潜力。

• Can Pruning Improve Reasoning? Revisiting Long-CoT Compression with Capability in Mind for Better Reasoning

  Published: 22 May, 2025 |  at  11:18 AM

  

  87.16 🤔

  本文提出Prune-on-Logic框架，通过将长链思维（Long-CoT）转化为逻辑图并选择性剪枝低效验证步骤，在提升小型语言模型（SLMs）推理准确率的同时降低推理成本，揭示了剪枝作为能力对齐策略的潜力。

• SelfBudgeter: Adaptive Token Allocation for Efficient LLM Reasoning

  Published: 22 May, 2025 |  at  11:12 AM

  

  87.16 🤔

  SelfBudgeter通过自适应令牌预算预测和强化学习优化，在MATH数据集上实现74.47%响应长度压缩，同时保持接近原始准确性，显著提升大型推理模型的效率。