Tag: Test Time
All the articles with the tag "Test Time".
-
Local Mixtures of Experts: Essentially Free Test-Time Training via Model Merging
本文提出测试时模型合并(TTMM)方法,通过在训练时预训练大量专家模型并在测试时动态合并参数,以几乎无测试时开销的方式逼近测试时训练(TTT)的语言建模性能。
-
Reward Reasoning Model
本文提出奖励推理模型(RRMs),通过链式推理过程在生成奖励前自适应利用测试时计算资源,在多个奖励建模基准和实际应用中显著提升性能,尤其在复杂推理任务上表现优异。
-
Plan and Budget: Effective and Efficient Test-Time Scaling on Large Language Model Reasoning
本文提出 PLAN-AND-BUDGET 框架,通过结构化推理和基于不确定性的自适应 token 预算分配,显著提升大型语言模型在推理任务中的计算效率,E3 指标最高提升 187.5%,同时保持准确率。
-
Thinking Short and Right Over Thinking Long: Serving LLM Reasoning Efficiently and Accurately
本文提出SART框架,通过冗余采样与早期停止以及两阶段动态修剪方法,显著提升了大型语言模型推理服务的效率(最高28.2倍),同时保持了与基线相近的准确性。
-
SLOT: Sample-specific Language Model Optimization at Test-time
本文提出SLOT方法,通过测试时对每个输入提示优化一个轻量级样本特定参数向量δ,显著提升大型语言模型在推理任务上的性能,如Qwen2.5-7B在GSM8K上提升8.65%。