Tag: Small Language Model

All the articles with the tag "Small Language Model".

• Distillation and Refinement of Reasoning in Small Language Models for Document Re-ranking

  Published: 6 May, 2025 |  at  11:15 PM

  

  83.31 🤔

  本文提出InteRank方法，通过知识蒸馏和强化学习训练一个3B参数小型语言模型，在推理密集型文档重排序任务中生成解释并实现与70B+参数模型相当的性能，在BRIGHT基准上位列第三。

• AdaptMI: Adaptive Skill-based In-context Math Instruction for Small Language Models

  Published: 4 May, 2025 |  at  04:32 PM

  

  80.86 🤔

  本文提出AdaptMI和AdaptMI+自适应方法，通过基于奖励模型检测问题难度并针对困难问题选择技能-based in-context示例，提高小语言模型在数学推理任务中的性能，同时避免认知过载。

• Phi-4-Mini-Reasoning: Exploring the Limits of Small Reasoning Language Models in Math

  Published: 4 May, 2025 |  at  04:33 PM

  

  83.56 👍

  本文提出了一种多阶段训练方案，包括大规模蒸馏、滚动偏好优化和可验证奖励的强化学习，显著提升了小型语言模型在数学推理任务中的性能，使3.8B参数的Phi-4-Mini-Reasoning模型超过了近两倍参数的开源基线模型。