Unveiling the Key Factors for Distilling Chain-of-Thought Reasoning

本文系统研究了CoT蒸馏中教师模型选择、粒度和格式对小型语言模型（SLMs）推理能力的影响，发现强模型受益于高粒度CoT而弱模型偏好中等粒度，格式影响有限，且教师模型能力并非决定学生表现的唯一因素。

Large Language Model, Fine-tuning, Reasoning, Efficiency

Xinghao Chen, Zhijing Sun, Wenjin Guo, Miaoran Zhang, Yanjun Chen, Yirong Sun, Hui Su, Yijie Pan, Dietrich Klakow, Wenjie Li, Xiaoyu Shen

The Hong Kong Polytechnic University, Ningbo Key Laboratory of Spatial Intelligence and Digital Derivative, Institute of Digital Twin, EIT, Saarland University, Meituan Inc.

Generated by grok-3

Background Problem

大型语言模型（LLMs）通过链式思维（CoT）提示在推理任务中表现出色，但其高计算需求限制了在资源受限环境中的应用，因此将CoT能力蒸馏到小型语言模型（SLMs）成为一个重要研究方向。本文聚焦于优化CoT蒸馏过程，解决的关键问题是：如何选择最有效的CoT监督策略（包括教师模型、粒度和格式），以提升SLMs的推理能力，特别是在数学和常识推理任务中。

Method

本文提出了一种系统性框架，用于分析CoT蒸馏中的三个关键因素：

• 教师模型选择：使用不同能力的教师模型（包括GPT-4o、Gemini-1.5-Flash、LLaMA 3 70B及人类标注）生成CoT监督数据，探讨教师能力对学生模型表现的影响。
• CoT粒度：通过提示教师模型生成不同详细程度的推理步骤（从低粒度到高粒度），研究粒度对SLMs学习效果的影响，特别关注强弱模型对粒度的不同适应性。
• CoT格式：对比原始CoT与三种替代格式（Least-to-most、Rephrase and Respond、Symbolic CoT），分析格式结构对SLMs推理能力的影响。 核心方法是通过监督微调，将教师生成的CoT数据用于训练学生模型，并使用损失函数 $\mathcal{L}_{distill} = \sum_{i=1}^{N} \mathcal{L}(S(x_i), C_{T,g,f}(x_i) \oplus y_i)$ 衡量学生模型输出与目标的差异。然而，方法中对粒度的定义较为模糊，缺乏明确的量化指标（如步骤数或信息密度），可能导致结果解释的主观性。此外，格式调整未深入探讨SLMs对复杂结构的适应性限制，分析较为表面。

Experiment

实验在四个数学推理数据集（SVAMP、GSM8K、AQuA-RAT、MATH）和三个常识推理数据集（CommonsenseQA、OpenBookQA、StrategyQA）上进行，使用四种教师模型（GPT-4o、Gemini-1.5-Flash、LLaMA 3 70B、人类标注）为七种学生模型生成CoT监督数据。实验设置涵盖不同粒度级别（1-6级）和格式（原始CoT及三种替代格式），以准确率作为评估指标。

• 粒度效果：结果显示SLMs与粒度呈非单调关系，强模型（如Gemma 2B、LLaMA 3.2 3B）在较高粒度下表现更好，而弱模型（如BLOOM系列）在中等粒度达到峰值，过高粒度反而导致性能下降。这与预期部分一致，但实验未充分解释为何弱模型无法处理高粒度，可能与模型容量或数据噪声有关。
• 格式效果：原始CoT格式通常优于替代格式，SLMs对格式变化不敏感，与LLMs形成对比。实验结果表明格式调整的收益有限且任务特定，但未深入分析SLMs为何缺乏格式适应性。
• 教师模型效果：更强的教师模型并不总是带来更好的学生表现，强学生模型从高级教师中获益更多；LLM生成的CoT在数学任务中优于人类标注，而人类标注在常识推理中表现更好。这一结果挑战了传统假设，但实验未探讨教师模型生成CoT的质量差异对结果的影响。 总体而言，实验设置较为全面，覆盖了多种模型和任务，但对粒度和格式的控制变量设计不够严谨（如粒度与序列长度的区分实验仅限于部分数据集），且部分结论（如格式影响有限）缺乏更深层次的因果分析，限制了结果的说服力。

Further Thoughts

本文提出的非单调粒度关系和教师模型选择的非线性影响为CoT蒸馏研究提供了新视角，但其结论可能受限于实验中使用的特定模型和数据集，未来可通过更广泛的模型架构和任务类型验证其普适性。此外，论文中提到的‘马太效应’（强模型获益更多）让我联想到教育心理学中的‘最近发展区’（ZPD）理论，这提示我们是否可以借鉴教育领域的课程设计理念，为不同能力的SLMs设计渐进式CoT监督策略，例如从低粒度逐步过渡到高粒度，以避免弱模型被复杂推理淹没。同时，格式影响有限的结论可能与SLMs的预训练数据分布有关，若能在预训练阶段引入更多结构化推理数据，是否能提升其对格式的适应性？这值得进一步探索。最后，教师模型生成CoT的质量（如逻辑一致性、噪声水平）可能是影响蒸馏效果的关键因素，未来研究可引入质量评估机制，结合生成数据过滤或增强技术，进一步优化CoT蒸馏过程。