Tag: Efficiency

All the articles with the tag "Efficiency".

• Scalable Strategies for Continual Learning with Replay

  Published: 21 May, 2025 |  at  11:14 AM

  

  87.97 🤔

  本文提出低秩适应（LoRA）、整合和顺序合并三种策略以提升持续学习的可扩展性，通过减少重放样本需求（最高65%）并结合高效微调技术，在图像分类任务中显著提高性能。

• When Thinking Fails: The Pitfalls of Reasoning for Instruction-Following in LLMs

  Published: 22 May, 2025 |  at  11:11 AM

  

  87.93 🤔

  本文通过对15个大型语言模型在指令遵循任务上的评估，揭示了链式思维（CoT）提示会导致性能下降的现象，并通过约束注意力分析和四种缓解策略（尤其是分类器选择性推理）有效恢复了部分性能。

• First Finish Search: Efficient Test-Time Scaling in Large Language Models

  Published: 1 Jun, 2025 |  at  11:52 AM

  

  87.92 🤔

  本文提出First Finish Search (FFS)，一种无需训练的测试时扩展策略，通过并行解码并选择最先完成的推理轨迹，在推理任务上显著提升大型语言模型准确率（如DeepSeek-R1在AIME数据集达82.23%），同时减少高达45%的令牌使用量。

• P$^2$ Law: Scaling Law for Post-Training After Model Pruning

  Published: 2 Jun, 2025 |  at  01:15 PM

  

  87.89 🤔

  本文提出P² Law作为剪枝后大型语言模型后训练的首个缩放定律，通过结合模型规模、后训练数据量、剪枝率和初始损失预测后训练损失，并在多种剪枝方法和模型上验证其有效性和部分泛化能力。

• Scalable Fine-tuning from Multiple Data Sources: A First-Order Approximation Approach

  Published: 4 Jun, 2025 |  at  11:26 AM

  

  87.86 🤔

  本文提出GRADEX算法，通过一阶近似快速估计语言模型微调损失，实现子集选择的30倍以上加速，并在指令微调和思维链微调任务中比基线方法提升高达3.8%的性能。