Tag: Reasoning

All the articles with the tag "Reasoning".

• Looped Transformers for Length Generalization

  Published: 7 May, 2025 |  at  08:42 AM

  

  74.13 🤔

  本文提出Looped Transformers方法，通过循环结构和自适应步数显著提升了Transformer在算法任务上的长度泛化能力，在多种任务中优于传统方法。

• Efficient Single-Pass Training for Multi-Turn Reasoning

  Published: 4 May, 2025 |  at  04:30 PM

  

  74.08 🤔

  本文提出了一种通过响应令牌复制和自定义注意力掩码来实现多轮推理对话单次前向传递训练的方法，显著提高了训练效率，同时维护了推理可见性和位置一致性。

• R&B: Domain Regrouping and Data Mixture Balancing for Efficient Foundation Model Training

  Published: 6 May, 2025 |  at  11:18 PM

  

  73.79 🤔

  R&B框架通过基于语义相似性的数据重新分组和梯度驱动的动态权重调整，以极低的计算开销（0.01%）在自然语言和多模态任务中匹配或超越现有数据混合策略，提升了基础模型训练效率。

• Does Knowledge Distillation Matter for Large Language Model based Bundle Generation?

  Published: 4 May, 2025 |  at  04:30 PM

  

  72.97 🤔

  本文首次系统探索知识蒸馏技术在基于大语言模型的捆绑生成任务中的应用，通过提出一个全面的 KD 框架和实验验证，证明了在减少计算需求的同时能保持甚至提升性能。

• Llama-Nemotron: Efficient Reasoning Models

  Published: 5 May, 2025 |  at  11:30 PM

  

  72.72 🤔

  NVIDIA 发布了 Llama-Nemotron 系列开放模型，通过结合神经架构搜索、知识蒸馏、持续预训练、基于高质量合成数据的多阶段有监督微调和大规模强化学习，构建了在推理能力和效率上均达到领先水平、并支持动态推理模式切换的异构模型家族。