Tag: Pre-training
All the articles with the tag "Pre-training".
-
Efficient Length-Generalizable Attention via Causal Retrieval for Long-Context Language Modeling
Published: at 11:21 AM
85.79 🤔本文提出Grouped Cross Attention (GCA)机制，通过可微分检索和动态上下文选择实现Transformer模型的长度泛化，在16M上下文长度下达到完美passkey检索准确率，同时显著降低计算和内存成本。
-
The Unreasonable Effectiveness of Entropy Minimization in LLM Reasoning
Published: at 11:08 AM 85.70 🤔本文通过熵最小化提出三种无监督方法（EM-FT, EM-RL, EM-INF），显著提升了大型语言模型在数学、物理和编码推理任务上的表现，无需标注数据且在某些情况下超越了传统监督方法和前沿模型。
-
Next Token Perception Score: Analytical Assessment of your LLM Perception Skills
Published: at 11:53 AM 85.57 🤔本文提出Next Token Perception Score (NTPS)，一个量化自回归预训练与下游感知任务特征子空间对齐程度的度量方法，通过理论证明和实验验证其与线性探针性能的相关性，并展示其预测LoRA微调增益的实用性。
-
The Climb Carves Wisdom Deeper Than the Summit: On the Noisy Rewards in Learning to Reason
Published: at 11:15 AM 85.56 🤔本文研究了大语言模型在强化学习后训练中对奖励噪声的鲁棒性，提出推理模式奖励（RPR）策略，通过奖励关键推理短语而非答案正确性显著提升性能，并用RPR校准噪声奖励模型，改善开放式任务表现。
-
Chain-of-Model Learning for Language Model
Published: at 11:24 AM 85.56 🤔本文提出 Chain-of-Model (CoM) 学习范式，通过在 Transformer 架构中引入因果依赖的多尺度表示（Chain-of-Representation），实现高效模型扩展和弹性推理，实验表明 CoLM 系列在性能上与标准 Transformer 相当，同时在预填充速度和灵活性上具有优势。