Tag: Large Language Model
All the articles with the tag "Large Language Model".
-
General-Reasoner: Advancing LLM Reasoning Across All Domains
本文提出General-Reasoner,通过零强化学习结合跨领域高质量数据集和基于生成模型的验证器,显著提升大型语言模型在多领域推理任务上的性能,同时保持数学推理的有效性。
-
SoLoPO: Unlocking Long-Context Capabilities in LLMs via Short-to-Long Preference Optimization
SoLoPO通过将长上下文偏好优化分解为短上下文优化和短到长奖励对齐,显著提升了大型语言模型在长上下文任务中的性能和训练效率,同时保持短上下文能力。
-
When Less Language is More: Language-Reasoning Disentanglement Makes LLMs Better Multilingual Reasoners
本文提出了一种无训练干预方法,通过在推理时移除大型语言模型中的语言特异性表示以解耦语言和推理,显著提升了多语言推理性能,尤其是在中低资源语言上,同时揭示了语言信号与推理准确性的负相关性。
-
RAGEN: Understanding Self-Evolution in LLM Agents via Multi-Turn Reinforcement Learning
本文提出StarPO框架和RAGEN系统,通过多轮轨迹级别强化学习训练LLM智能体,揭示了训练不稳定性(如Echo Trap)和推理能力不足的挑战,并通过StarPO-S改进稳定性和泛化性,但推理能力仍需细粒度奖励设计支持。
-
Recurrent Knowledge Identification and Fusion for Language Model Continual Learning
本文提出Recurrent-KIF框架,通过内外循环机制动态估计参数重要性并迭代融合新旧知识,在持续学习中有效缓解灾难性遗忘并促进知识转移,实验验证其在多个大语言模型上的性能优势。