Tag: Large Language Model
All the articles with the tag "Large Language Model".
-
Skywork Open Reasoner 1 Technical Report
Skywork-OR1通过提出MAGIC框架,利用多阶段训练和自适应熵控制的强化学习方法,显著提升了长链式推理模型在数学和编码任务上的性能,并在AIME24和AIME25基准上超越了DeepSeek-R1和Qwen3-32B。
-
Llama See, Llama Do: A Mechanistic Perspective on Contextual Entrainment and Distraction in LLMs
本文提出上下文牵引(Contextual Entrainment)现象,揭示语言模型对提示中出现token的机制性偏好,并通过可微分掩码方法识别牵引头(entrainment heads),为理解和缓解分心问题提供了新视角。
-
Multiple Weaks Win Single Strong: Large Language Models Ensemble Weak Reinforcement Learning Agents into a Supreme One
本文提出LLM-Ens框架,利用大型语言模型(LLMs)通过语义状态分类和动态代理选择增强强化学习模型集成,在Atari基准上显著提升性能,最高较基线方法提升51.2%。
-
Who Taught You That? Tracing Teachers in Model Distillation
本文提出了一种基于句法模式(PoS 模板)的方法,通过学生模型输出的高阶语言特征识别其教师模型,并在多个任务和数据集上验证了其优于传统相似度和困惑度方法的性能,但准确率仍有待提升。
-
Contrastive Learning for Task-Independent SpeechLLM-Pretraining
本文提出了一种基于对比学习的SpeechLLM任务无关预训练方法,通过对齐语音和文本表示,在低资源场景下显著提升了ASR、语音翻译和语音问答任务的性能,并超越了多个专门模型。