Tag: Efficiency

All the articles with the tag "Efficiency".

• FlashThink: An Early Exit Method For Efficient Reasoning

  Published: 23 May, 2025 |  at  11:16 AM

  

  87.28 🤔

  FlashThink方法通过验证模型动态判断推理过程是否提前结束，在保持大型语言模型准确率的同时显著减少推理内容长度（平均效率提升约77%），并通过FT²微调进一步优化性能。

• Mini-batch Coresets for Memory-efficient Language Model Training on Data Mixtures

  Published: 2 Jun, 2025 |  at  01:14 PM

  

  87.28 🤔

  本文提出 CoLM 方法，通过构建小批量核心集匹配大批量梯度，在内存需求减少 2 倍的情况下，使 LLM 微调性能优于 4 倍批大小的常规训练，同时提升收敛速度。

• Understanding the Skill Gap in Recurrent Language Models: The Role of the Gather-and-Aggregate Mechanism

  Published: 6 May, 2025 |  at  11:15 PM

  

  87.26 🤔

  本文通过提出Gather-and-Aggregate (G&A)机制，揭示了Transformer和SSM模型在上下文检索能力上的性能差距主要源于少数关键头部的实现差异，并通过混合模型实验验证了注意力机制在改进SSM检索能力上的潜力。

• Don't Overthink it. Preferring Shorter Thinking Chains for Improved LLM Reasoning

  Published: 30 May, 2025 |  at  11:15 AM

  

  87.20 🤔

  本文挑战了推理 LLMs 中更长思考链提升性能的假设，提出 *short-m@k* 推理方法，通过优先选择较短推理链实现高达 34.5% 的准确率提升和 40% 的计算量减少，并通过微调验证了短推理链训练的有效性。

• Can Pruning Improve Reasoning? Revisiting Long-CoT Compression with Capability in Mind for Better Reasoning

  Published: 22 May, 2025 |  at  11:18 AM

  

  87.16 🤔

  本文提出Prune-on-Logic框架，通过将长链思维（Long-CoT）转化为逻辑图并选择性剪枝低效验证步骤，在提升小型语言模型（SLMs）推理准确率的同时降低推理成本，揭示了剪枝作为能力对齐策略的潜力。