Posts
All the articles I've posted.
-
A Survey on Test-Time Scaling in Large Language Models: What, How, Where, and How Well?
Published: at 11:19 PM
90.65 😐本文通过提出一个四维度分类框架（什么扩展、如何扩展、哪里扩展、扩展效果如何），系统综述了测试时扩展（TTS）在大型语言模型中的研究现状，为理解和应用推理阶段计算扩展提供了结构化视角和实践指导。
-
Between Underthinking and Overthinking: An Empirical Study of Reasoning Length and correctness in LLMs
Published: at 01:18 AM 89.54 😐本文通过实证研究发现，大型语言模型在推理任务中存在"过度思考"简单问题和"思考不足"困难问题的现象，其推理长度与正确性呈非单调关系，且简单偏好更短回答可在保持准确率的同时显著减少生成长度。
-
Weight Ensembling Improves Reasoning in Language Models
Published: at 01:27 AM 88.15 😐本文发现监督微调导致推理模型多样性坍塌损害 Pass@K，并提出通过插值早期与后期 SFT 检查点（WiSE-FT）的方法，有效提升模型多样性，同时提高 Pass@1 和 Pass@K，进而改善测试时缩放和强化学习效果。
-
Param$Δ$ for Direct Weight Mixing: Post-Train Large Language Model at Zero Cost
Published: at 04:30 PM 86.83 😐本文提出Param∆方法，通过直接添加参数差值在零成本下实现后训练知识向新基模型的转移，达到与传统后训练相当的性能。
-
Towards Reasoning Ability of Small Language Models
Published: at 04:26 PM 86.53 😐本文通过系统基准测试72个SLMs，证明小型语言模型可以通过结构化训练和压缩技术实现与大型模型相当的推理能力，从而挑战了规模依赖的传统观点。