Tag: Efficiency
All the articles with the tag "Efficiency".
-
SSR: Speculative Parallel Scaling Reasoning in Test-time
Published: at 11:09 AM
85.72 🤔本文提出SSR框架，通过选择性并行模块和步骤级推测性解码，在测试时显著提升大型语言模型在数学推理任务中的效率-准确性权衡，无需额外训练。
-
A Unified Approach to Routing and Cascading for LLMs
Published: at 11:41 AM 85.71 🤔本文通过理论分析推导出最优的路由和级联策略，并提出级联路由这一统一框架，在成本预算内显著提升大型语言模型的输出质量，尤其在质量估计准确的场景下性能提升明显。
-
The Unreasonable Effectiveness of Entropy Minimization in LLM Reasoning
Published: at 11:08 AM 85.70 🤔本文通过熵最小化提出三种无监督方法（EM-FT, EM-RL, EM-INF），显著提升了大型语言模型在数学、物理和编码推理任务上的表现，无需标注数据且在某些情况下超越了传统监督方法和前沿模型。
-
Revisiting Overthinking in Long Chain-of-Thought from the Perspective of Self-Doubt
Published: at 11:28 AM 85.64 🤔本文从自我怀疑视角量化分析长链式思维中的过度思考问题，并提出一种简单提示方法，通过评估输入有效性减少令牌消耗和自我怀疑，在数学推理任务中显著提升效率并维持准确率。
-
IDEAL: Data Equilibrium Adaptation for Multi-Capability Language Model Alignment
Published: at 11:23 AM 85.61 🤔IDEAL提出了一种基于梯度的迭代数据均衡适应框架，通过动态优化监督微调（SFT）中多领域数据集的比例，在2次迭代内显著提升大型语言模型的多任务性能，平均得分提高约7%。