Tag: Large Language Model
All the articles with the tag "Large Language Model".
-
100 Days After DeepSeek-R1: A Survey on Replication Studies and More Directions for Reasoning Language Models
Published: at 08:42 AM
85.65 🤔本文综述了DeepSeek-R1发布后100天内推理语言模型的复制研究，系统总结了监督微调和基于可验证奖励的强化学习方法在数据构建和算法设计上的进展，并探讨了推理能力提升的多方向应用。
-
Revisiting Overthinking in Long Chain-of-Thought from the Perspective of Self-Doubt
Published: at 11:28 AM 85.64 🤔本文从自我怀疑视角量化分析长链式思维中的过度思考问题，并提出一种简单提示方法，通过评估输入有效性减少令牌消耗和自我怀疑，在数学推理任务中显著提升效率并维持准确率。
-
IDEAL: Data Equilibrium Adaptation for Multi-Capability Language Model Alignment
Published: at 11:23 AM 85.61 🤔IDEAL提出了一种基于梯度的迭代数据均衡适应框架，通过动态优化监督微调（SFT）中多领域数据集的比例，在2次迭代内显著提升大型语言模型的多任务性能，平均得分提高约7%。
-
Lost in Transmission: When and Why LLMs Fail to Reason Globally
Published: at 11:19 PM 85.58 🤔本文提出BAPO模型量化大型语言模型（LLMs）内部通信带宽限制，理论证明与实验验证了LLMs在高带宽需求任务上的失败，并展示链式思维（CoT）可降低带宽需求以缓解部分问题。
-
Next Token Perception Score: Analytical Assessment of your LLM Perception Skills
Published: at 11:53 AM 85.57 🤔本文提出Next Token Perception Score (NTPS)，一个量化自回归预训练与下游感知任务特征子空间对齐程度的度量方法，通过理论证明和实验验证其与线性探针性能的相关性，并展示其预测LoRA微调增益的实用性。