Tag: Large Language Model
All the articles with the tag "Large Language Model".
-
ProRL: Prolonged Reinforcement Learning Expands Reasoning Boundaries in Large Language Models
Published: at 11:45 AM
91.52 🤔本文提出ProRL方法，通过长时间强化学习结合KL散度惩罚和参考策略重置，在多样化任务上训练Nemotron-Research-Reasoning-Qwen-1.5B模型，显著扩展了大型语言模型的推理边界，尤其在基础模型表现较差的领域和分布外任务上表现出色。
-
LIFT the Veil for the Truth: Principal Weights Emerge after Rank Reduction for Reasoning-Focused Supervised Fine-Tuning
Published: at 12:00 PM 89.25 🤔本文提出了一种低秩引导的稀疏微调方法LIFT，通过低秩近似后选择主要权重进行微调，在推理任务上显著优于全参数微调和LoRA等方法，同时保持内存效率。
-
R-LoRA: Randomized Multi-Head LoRA for Efficient Multi-Task Learning
Published: at 11:25 AM 86.91 🤔R-LoRA通过多头随机化（包括多头Dropout和随机初始化）增强了LoRA在多任务学习中的性能，有效提升了任务特定知识的捕获能力，同时降低了GPU内存使用和训练时间。
-
Do LLMs Need to Think in One Language? Correlation between Latent Language and Task Performance
Published: at 11:44 AM 91.19 🤔本文通过引入对抗性提示干扰大型语言模型的潜在语言一致性，研究其对翻译和地理文化任务性能的影响，发现一致性并非总是必要的，因为模型能在最终层适应语言变化。
-
Recurrent Knowledge Identification and Fusion for Language Model Continual Learning
Published: at 11:26 AM 88.00 🤔本文提出Recurrent-KIF框架，通过内外循环机制动态估计参数重要性并迭代融合新旧知识，在持续学习中有效缓解灾难性遗忘并促进知识转移，实验验证其在多个大语言模型上的性能优势。