Tag: Reasoning

All the articles with the tag "Reasoning".

• How Much Backtracking is Enough? Exploring the Interplay of SFT and RL in Enhancing LLM Reasoning

  Published: 3 Jun, 2025 |  at  11:29 AM

  

  87.38 🤔

  本文通过控制实验研究SFT和RL在增强LLM推理能力中的相互作用，发现短CoT预热对RL有中等贡献，回溯次数需与任务难度匹配，且RL对SFT数据正确性依赖较小而对结构一致性敏感。

• RaaS: Reasoning-Aware Attention Sparsity for Efficient LLM Reasoning

  Published: 4 Jun, 2025 |  at  11:26 AM

  

  87.36 🤔

  本文提出 RaaS 算法，通过识别推理任务中的里程碑令牌并采用 LRU 缓存策略管理 KV 向量，在保持高准确性的同时实现了 O(L) 的时间和内存复杂度，显著优于现有方法如 Quest 的内存效率。

• Think2SQL: Reinforce LLM Reasoning Capabilities for Text2SQL

  Published: 6 May, 2025 |  at  11:18 PM

  

  87.33 🤔

  本文通过结合监督微调（SFT）、强化学习（RL）及细粒度奖励函数（如QATCH），显著提升了小型LLM在Text2SQL任务中的推理能力和性能，Think2SQL-7B模型在BIRD数据集上超越了400B+参数模型。

• FlashThink: An Early Exit Method For Efficient Reasoning

  Published: 23 May, 2025 |  at  11:16 AM

  

  87.28 🤔

  FlashThink方法通过验证模型动态判断推理过程是否提前结束，在保持大型语言模型准确率的同时显著减少推理内容长度（平均效率提升约77%），并通过FT²微调进一步优化性能。

• Understanding the Skill Gap in Recurrent Language Models: The Role of the Gather-and-Aggregate Mechanism

  Published: 6 May, 2025 |  at  11:15 PM

  

  87.26 🤔

  本文通过提出Gather-and-Aggregate (G&A)机制，揭示了Transformer和SSM模型在上下文检索能力上的性能差距主要源于少数关键头部的实现差异，并通过混合模型实验验证了注意力机制在改进SSM检索能力上的潜力。