本文提出R2R，一种令牌级别的神经路由方法，通过选择性使用LLM修正SLM推理路径中的分歧令牌，在平均激活参数5.6B下超越R1-14B模型性能，并比R1-32B实现2.8倍墙钟加速。
Large Language Model, Efficiency, Reasoning, Multimodal Systems
Tianyu Fu, Yi Ge, Yichen You, Enshu Liu, Zhihang Yuan, Guohao Dai, Shengen Yan, Huazhong Yang, Yu Wang
Tsinghua University, Infinigence AI, Shanghai Jiao Tong University
Generated by grok-3
Background Problem
大型语言模型（LLMs）在推理任务中表现出色，但其推理过程的高计算成本限制了实际部署。相比之下，蒸馏后的小型语言模型（SLMs）虽然效率更高，但在推理路径上与LLM的分歧导致性能显著下降。研究发现，只有少部分令牌真正导致推理路径的分歧，而大部分差异是中性的（如表达方式的细微变化）。基于此，本文提出一个关键问题：是否可以通过仅替换分歧令牌，让SLM跟随LLM的推理路径，从而在保持高质量推理的同时大幅提升效率？
Method
本文提出了Roads to Rome (R2R)，一种令牌级别的神经路由方法，通过选择性地在推理路径分歧的令牌上使用LLM，而将大部分令牌生成任务交给SLM，以实现效率和性能的平衡。
- 核心思想：基于SLM和LLM在给定上下文下的下一令牌预测差异，识别出真正导致推理路径分歧的令牌（divergent tokens），并仅在这些关键点上调用LLM进行修正，而中性差异（neutral differences）则允许SLM继续生成。
- 数据标注管道：开发了一个自动化的数据生成流程，通过比较SLM和LLM的预测，识别差异令牌，并利用另一个LLM作为验证者，通过延续生成和质量评估，判断差异是中性还是分歧，从而生成令牌级别的路由标签。
- 神经路由器设计：设计了一个轻量级的五层前馈神经网络（56M参数）作为路由器，利用SLM的输出特征（如logits、令牌嵌入、隐藏状态）预测令牌是否分歧，并在推理时实时决定是否调用LLM进行修正，避免回滚操作。
- 关键挑战与解决：与传统的查询级别路由和推测解码（speculative decoding）不同，R2R在令牌级别操作，减少了不必要的计算开销，并通过句级路径跟随策略降低了标注成本。 批判性思考：虽然方法创新，但依赖另一个LLM作为验证者可能引入额外偏差，且数据标注的成本在资源受限场景下可能仍较高。此外，路由器的训练数据基于特定模型对（R1-1.5B和R1-32B），其泛化能力到其他模型或任务领域尚未充分验证。
Experiment
实验基于DeepSeek-R1系列模型（R1-1.5B作为SLM，R1-32B作为LLM），在数学（AIME）、编码（LiveCodeBench）和问答（GPQA）等挑战性基准上评估R2R的性能和效率。
- 设置：R2R使用平均激活参数5.6B，通过调整路由阈值控制LLM使用率，与查询级别路由（QR）和推测解码方法（如EAGLE2、HASS）以及蒸馏模型（R1-7B、R1-14B）进行对比。效率指标包括平均激活参数和墙钟时间（wall-clock latency）。
- 结果：R2R在平均激活参数为5.6B时，平均准确率达到46%，比R1-7B高1.6倍，甚至超越R1-14B；相比R1-32B，R2R以相似准确率实现了2.8倍的墙钟加速。LLM使用率仅为11-15%，显著提升了SLM性能（比R1-1.5B高4.6倍）。
- 分析：R2R在推理过程的不同阶段（如思考和回复）表现出智能的路由行为，特别是在思考的开始和结束部分更多依赖LLM，符合直觉。
- 批判性思考：实验结果令人印象深刻，但基准测试的选择较为有限，可能未覆盖更广泛的现实世界任务。此外，实验主要基于贪婪采样，其他采样策略的效果未被探讨，可能限制方法的普适性。墙钟时间的测量依赖特定硬件（NVIDIA A800 GPU）和框架（SGLang），在不同环境下的表现可能有所不同。数据标注和路由器的训练依赖特定模型对，其在其他模型上的泛化能力仍需验证。
Further Thoughts
R2R的方法为高效推理提供了一个新颖视角，但其依赖于特定模型对和贪婪采样的假设可能限制其在更广泛场景中的应用。未来可以探索R2R在非贪婪采样策略下的表现，以及是否能通过自适应路由阈值进一步优化性能-效率权衡。此外，数据标注管道中验证者LLM的使用可能引入偏差，是否可以通过无监督或半监督方法减少对额外LLM的依赖是一个值得研究的方向。跨领域应用也是一个潜在扩展点，例如将R2R应用于多模态任务（如文本-图像推理），可能需要重新设计路由指标以适应不同模态的数据特性。结合其他效率优化技术（如量化或剪枝）或许能进一步提升R2R的实际部署能力，但需要平衡性能损失和效率提升之间的关系。