SoftCoT++ 通过在连续潜在空间中引入多样化初始令牌和对比学习实现测试时扩展，显著提升了大型语言模型在多个推理任务上的性能，并与传统离散空间扩展方法展现出协同效应。
Large Language Model, Reasoning, Contrastive Learning, Test Time, Representation Learning
Yige Xu, Xu Guo, Zhiwei Zeng, Chunyan Miao
Nanyang Technological University, Singapore, KTH Royal Institute of Technology, Sweden, Joint NTU-UBC Research Centre of Excellence in Active Living for the Elderly, Alibaba-NTU Global e-Sustainability CorpLab (ANGEL)
Generated by grok-3
Background Problem
大型语言模型（LLMs）近年来通过训练时计算资源的扩展取得了显著的性能提升，尤其是在链式思维（Chain-of-Thought, CoT）提示方法下展现出强大的推理能力。然而，测试时扩展（Test-Time Scaling, TTS）作为一种在推理时分配额外计算资源以提升性能的新范式，主要集中在离散令牌空间中生成多条推理路径，而在连续潜在空间中的推理研究较少。现有方法如SoftCoT通过固定潜在思维表示增强推理质量，但由于潜在表示对给定输入是确定的，缺乏多样化探索能力，限制了测试时扩展的潜力。本文旨在解决如何在连续潜在空间中实现可扩展的测试时推理这一关键问题。
Method
SoftCoT++ 构建在SoftCoT方法之上，提出了一种在连续潜在空间中实现测试时扩展的框架，核心思想是通过在思维阶段（thinking stage）生成多样的软思维表示来模拟离散空间中的多路径采样。具体步骤如下：
- 多样化输入序列：引入多个特化的初始令牌（[INI] tokens），作为辅助模型的输入提示，生成多个不同的软思维表示（soft thought representations），从而模拟并行扩展。
- 对比学习目标：通过对比学习损失函数，最大化不同软思维表示之间的距离，增加潜在空间中的多样性，以更好地估计潜在思维分布。
- 整体流程：在训练阶段，仅优化投影模块参数，同时引入对比学习正则项；在推理阶段，利用多个软思维表示生成多条推理路径，并与传统的离散空间扩展方法（如自一致性）结合。
批判性思考：虽然方法创新性地尝试在潜在空间中引入多样性，但其理论基础依赖于潜在思维分布平滑且可微的假设，而论文未提供充分证据支持这一假设。此外，对比学习是否真正显著提升了多样性，以及多样性与最终性能提升之间的因果关系，仍需更深入的分析和验证。
Experiment
实验在五个推理基准数据集上进行，涵盖数学推理（GSM8K, ASDiv-Aug, AQuA）、常识推理（StrategyQA）和符号推理（Date Understanding），并在两种LLM架构（LLaMA-3.1-8B 和 Qwen3-8B）上测试。实验设置包括对比多个基线方法（如Zero-Shot CoT, Coconut-SC, SoftCoT-SC），并通过消融研究验证对比学习和多样化输入的作用。结果显示：
- 性能提升：SoftCoT++ 在所有任务和架构上均优于基线方法，例如在GSM8K上，LLaMA-3.1-8B 的准确率从SoftCoT-SC的90.63%提升至90.99%，Qwen3-8B 从93.19%提升至93.65%。
- 稳定性：标准差较小，表明方法在测试时扩展中保持了预测稳定性。
- 协同效应：结合思维阶段和推理阶段扩展（例如与自一致性结合）进一步提升性能，在GSM8K上达到最高94.12%的准确率。
- 消融研究：无对比学习的SoftCoT+性能低于SoftCoT++，验证了对比学习对多样性的贡献。
批判性思考：虽然结果显示性能提升，但提升幅度在某些任务（如StrategyQA）上较为有限，且未探讨性能饱和的原因。实验设计主要集中在8B参数规模的模型上，缺乏对更大规模模型的验证，限制了方法的普适性结论。此外，实验未充分分析软思维表示的多样性如何直接影响推理结果，缺乏更细粒度的分析。
Further Thoughts
SoftCoT++ 的方法为在连续潜在空间中实现测试时扩展提供了一个有趣的视角，但其理论假设和实验验证仍有待加强。未来研究可以探索潜在思维分布的动态演变，尤其是在模型训练过程中如何随着规模和架构变化而调整。此外，结合其他领域的研究，如生成式AI中的扩散模型（Diffusion Model）用于潜在空间探索，可能为生成更具多样性的软思维表示提供新思路。另一个值得思考的方向是，SoftCoT++ 是否能应用于多模态推理任务，例如结合视觉基础模型（Vision Foundation Model），以验证其在多模态系统中的潜力。这些跨领域结合可能进一步揭示连续空间推理的局限与优势。