本文提出了一种通过分割大型语言模型推理轨迹为子思维并从中间状态生成多条推理路径、最终以众数聚合答案的方法，显著提高了数学推理任务的准确性（最高提升13%），并揭示了答案一致性与正确性的相关性。
Large Language Model, Reasoning, In-Context Learning, Prompt Engineering, Multimodal Systems, Human-AI Interaction
Hasan Abed Al Kader Hammoud, Hani Itani, Bernard Ghanem
KAUST
Generated by grok-3
Background Problem
大型语言模型（LLM）在解决复杂问题时，通常通过生成逐步推理轨迹（reasoning trace）来展示其能力，标准评估方法仅关注推理轨迹末尾的最终答案是否正确。然而，这种方法可能忽略了推理过程中的宝贵信息，假设单一生成的推理路径代表模型的最终结论，而未考虑不同推理路径可能导致不同甚至更准确的结果。本文提出并试图解决的关键问题是：最终答案是否可靠地代表模型的最佳结论？能否通过分析推理过程中的中间步骤（subthoughts）来获得更可靠的评估和更高的准确性？
Method
本文提出了一种分析LLM推理过程的方法，通过以下步骤实现：
- 初始推理轨迹生成：使用贪婪解码（greedy decoding）生成针对给定问题的完整推理轨迹（Rfull），并提取其中的推理内容（T）和最终答案（Alast）。
- 子思维分割：基于预定义的语言标记（如’Wait’、‘Alternatively’等）将推理轨迹T分割为一系列子思维（subthoughts, s1到sn），这些标记通常表示推理中的转变或进展。
- 子思维补全生成：对每个子思维的累积推理内容（T1到Tn），构造新的提示（prompt），让同一模型从该中间状态继续生成推理补全（Ci），形成多个完整响应（Ri）。生成补全时，分别采用贪婪（temperature=0.0）和非贪婪（temperature=1.0, top-p=0.95）两种采样策略。
- 答案提取：从每个补全响应中提取最终数值答案（A1到An），形成答案集合（A）。
- 分析与聚合：分析答案集合的分布特性（如熵），并通过取众数（mode, Amode）聚合答案，作为最终结果，与初始轨迹的最终答案（Alast）进行比较。 核心思想是通过从中间状态生成的多个推理路径，探索模型结论的稳定性和一致性，并利用众数聚合来提高最终答案的可靠性。
Experiment
实验在两个具有挑战性的数学推理数据集（AIME2024和AIME2025）上进行，测试了七个开源LLM模型（参数规模从1.5B到32B不等），包括DeepSeek-R1系列、EXAONE-Deep、QwQ-32B等。实验设置包括使用VLLM库进行高效推理，并限制每次生成的最大token数为8192。答案提取使用Qwen2.5-14B-Instruct模型，确保一致性。
实验设计旨在验证两个假设：1）答案分布的一致性与正确性相关；2）通过众数聚合（Amode）可以显著提高准确性。结果显示：
- 答案演变与一致性：通过分析子思维补全生成的答案序列，发现正确解答的问题通常表现出较高的答案一致性（低熵），而错误解答的问题则显示出较高的答案波动性（高熵），这为置信度估计提供了潜在信号。
- 准确性提升：与仅使用最终答案（Alast）的基线相比，通过众数聚合（Amode）在AIME2024上准确性提升最高达13.33%（非贪婪补全），在AIME2025上最高达10.0%（贪婪补全）。非贪婪补全策略通常带来更大的提升，表明探索多样化推理路径有助于揭示更可靠的共识答案。
- 实验合理性与局限：实验覆盖了多种模型和数据集，显示出方法的普适性，但也存在少量模型在特定条件下准确性略有下降的情况（最高下降6.66%），可能与数据集特性或模型规模有关。此外，实验未充分讨论计算成本的增加（多次生成补全），这可能限制实际应用。 总体而言，实验结果基本符合预期，验证了方法有效性，但提升幅度可能受限于特定任务，未必能广泛泛化。
Further Thoughts
本文提出的子思维分析方法为LLM推理评估提供了一个新颖视角，特别是在答案一致性与置信度估计方面的发现，可能启发未来的研究将熵或其他分布特性作为动态调整推理过程的依据。例如，可以探索是否能在推理过程中实时检测高熵状态并触发额外的采样或路径探索，以提高最终答案的可靠性。此外，这种方法是否能与其他推理增强技术（如Chain of Thought或Self-Consistency）结合，进一步提升性能，也是一个值得探究的方向。
另一个有趣的联系是与过思考（overthinking）现象相关的研究。论文提到过思考可能导致错误答案，而子思维分析或许可以作为一种诊断工具，帮助识别模型在何时陷入冗余或错误的推理循环，并通过提前终止或路径调整来优化计算效率。这种思路可能与预算推理（budgeted reasoning）技术结合，平衡准确性和计算成本。
最后，我认为子思维分割依赖语言标记的方式可能存在局限，尤其是在跨语言或跨文化背景下，标记的有效性可能下降。未来的研究可以尝试基于语义或上下文特征的无监督分割方法，以提高方法的通用性。同时，计算成本的增加是一个实际问题，是否可以通过选择性分析关键子思维（而非全部）来优化效率，也是一个值得深入探讨的方向。