Tag: Preference Optimization

All the articles with the tag "Preference Optimization".

• When2Call: When (not) to Call Tools

  Published: 6 May, 2025 |  at  11:16 PM

  

  66.07 🤔

  本文提出When2Call基准，通过多选格式评估语言模型在工具调用决策上的表现，并通过偏好优化（RPO）训练方法显著提升模型在何时调用工具及何时保守行为之间的平衡能力。

• Phi-4-Mini-Reasoning: Exploring the Limits of Small Reasoning Language Models in Math

  Published: 4 May, 2025 |  at  04:33 PM

  

  83.56 👍

  本文提出了一种多阶段训练方案，包括大规模蒸馏、滚动偏好优化和可验证奖励的强化学习，显著提升了小型语言模型在数学推理任务中的性能，使3.8B参数的Phi-4-Mini-Reasoning模型超过了近两倍参数的开源基线模型。