Tag: Pre-training

All the articles with the tag "Pre-training".

• Contrastive Learning for Task-Independent SpeechLLM-Pretraining

  Published: 5 Jun, 2025 |  at  11:24 AM

  

  88.40 🤔

  本文提出了一种基于对比学习的SpeechLLM任务无关预训练方法，通过对齐语音和文本表示，在低资源场景下显著提升了ASR、语音翻译和语音问答任务的性能，并超越了多个专门模型。

• Less, but Better: Efficient Multilingual Expansion for LLMs via Layer-wise Mixture-of-Experts

  Published: 2 Jun, 2025 |  at  11:24 AM

  

  88.22 🤔

  本文提出LayerMoE算法，通过基于层间语言相似性的专家分配和路由分类器，实现了多语言LLM的高效扩展，以更少的参数显著提升新语言性能并减少旧语言遗忘。

• General-Reasoner: Advancing LLM Reasoning Across All Domains

  Published: 30 May, 2025 |  at  11:21 AM

  

  88.18 🤔

  本文提出General-Reasoner，通过零强化学习结合跨领域高质量数据集和基于生成模型的验证器，显著提升大型语言模型在多领域推理任务上的性能，同时保持数学推理的有效性。

• P$^2$ Law: Scaling Law for Post-Training After Model Pruning

  Published: 2 Jun, 2025 |  at  01:15 PM

  

  87.89 🤔

  本文提出P² Law作为剪枝后大型语言模型后训练的首个缩放定律，通过结合模型规模、后训练数据量、剪枝率和初始损失预测后训练损失，并在多种剪枝方法和模型上验证其有效性和部分泛化能力。

• Longer Context, Deeper Thinking: Uncovering the Role of Long-Context Ability in Reasoning

  Published: 30 May, 2025 |  at  11:16 AM

  

  87.82 🤔

  本文通过实验验证了长上下文能力与推理性能的正相关，提出在监督微调前增强长上下文能力的训练策略，并在数学推理基准上显著提升了模型性能。