本文提出统一微调（UFT）框架，通过整合监督微调和强化微调，利用提示引导探索和混合目标函数，在不同规模模型和推理任务上均表现出色，并理论上证明了样本复杂度的指数级改进。
Supervised Learning, Reinforcement Learning, Large Language Model, Fine-tuning, Reasoning
Mingyang Liu, Gabriele Farina, Asuman Ozdaglar
Massachusetts Institute of Technology
Generated by grok-3
Background Problem
大型语言模型（LLMs）的后训练（post-training）对于提升推理能力至关重要，但现有主要方法——监督微调（SFT）和强化微调（RFT）各有局限。SFT适用于小模型，效率高，但易过拟合，限制了大模型的推理能力；RFT在大模型上泛化能力更强，但高度依赖基础模型的初始能力，且面临稀疏奖励导致的探索困难。本文提出统一微调（UFT），旨在通过整合SFT和RFT，解决记忆（memorization）和泛化（generalization）之间的权衡问题，同时缓解RFT在长推理任务中的指数级样本复杂度瓶颈。
Method
UFT的核心思想是将SFT的监督信号与RFT的奖励信号整合到一个训练框架中，通过以下两个关键机制实现：
- 提示引导的探索（Exploration with Hint）：在训练初期，将问题描述与部分解决方案（提示）拼接，引导模型更频繁地探索正确答案，缓解RFT中稀疏奖励问题。提示长度通过余弦退火（cosine annealing）策略逐渐减小至零，使用二项分布采样提示长度，确保训练和评估分布的对齐，避免分布偏移导致的性能崩溃。
- 混合目标函数（Hybrid Objective Function）：在RFT的目标函数中加入对提示的对数似然项（log-likelihood term），使得模型在探索的同时从监督信号中高效获取新知识。具体而言，目标函数结合了期望奖励最大化、与参考策略的KL散度惩罚以及对提示的对数似然最大化（见公式3.3）。
批判性思考：虽然提示引导探索的想法直观，但在实际任务中，提示的质量和代表性可能显著影响效果，若数据集中的解决方案不够多样，可能会引入偏差。此外，目标函数中多个项的平衡（如KL惩罚系数β）依赖超参数调整，论文未充分讨论其敏感性，可能导致实际应用中的不稳定性。
Experiment
实验在多个数据集（Countdown、MATH(3,4,5)、Knights and Knaves逻辑谜题）上对Qwen2.5（0.5B、1.5B、3B）和Llama-3.2（1B、3B）模型进行了测试，比较了UFT与SFT、RFT、SFT-RFT（先SFT后RFT）以及R3（逆向课程强化学习）的性能。
- 结果：对于小模型（如Qwen2.5-0.5B），UFT的平均准确率（9.45%）显著优于RFT（3.25%）和SFT-RFT（7.28%）；对于大模型（如Qwen2.5-3B），UFT（30.93%）接近RFT（32.15%），远超SFT-RFT（17.34%）。UFT在不同任务和模型规模上表现出自适应性，小模型偏向记忆，大模型偏向泛化。
- 实验设计：实验设置了明确的基线，涵盖了多种任务类型和模型规模，数据集选择（如MATH的不同难度级别）具有一定代表性。提示长度调度和超参数（如β=0.001）通过消融研究进行了验证。
- 批判性思考：尽管结果令人印象深刻，但实验存在局限性：数据集任务难度分布可能不均，MATH(3,4,5)仅包含中高难度问题，可能偏向于强化UFT的优势。此外，Llama-3.2模型在RFT下的表现较差，可能是由于其预训练推理能力不足，论文未深入探讨这一现象的根本原因。实验结果的统计显著性分析缺失，部分结论（如UFT引入新知识）更多基于定性观察而非定量证据。
Further Thoughts
UFT的提示引导探索和混合目标函数设计为后训练方法提供了一个有趣的思路，但其实际应用可能面临挑战。例如，提示长度调度策略依赖于余弦退火，若任务复杂度分布不均或解决方案长度差异较大，可能需要更自适应的调度方法。此外，UFT在目标函数中引入的对数似然项虽然提升了知识获取效率，但与强化学习目标的平衡问题值得进一步研究，特别是在奖励稀疏性极高的任务中。联想到最近的一些工作，如在RLHF（Reinforcement Learning from Human Feedback）中引入多目标优化，UFT是否可以进一步结合人类反馈或自动化过程监督（如Math-Shepherd）来增强其在复杂推理任务中的表现？另外，UFT的理论分析虽然展示了样本复杂度的改进，但其假设（如奖励的次优性差距∆）在现实任务中可能过于理想化，未来研究可以探索更贴近实际的理论边界。