Tag: Large Language Model
All the articles with the tag "Large Language Model".
-
MateICL: Mitigating Attention Dispersion in Large-Scale In-Context Learning
Published: at 11:13 PM
85.27 🤔本文提出 MateICL 框架，通过分割上下文窗口并引入注意力校准层解决大型语言模型在大规模上下文学习中的注意力分散问题，实验证明其在多种 NLP 任务中有效提升性能并保持稳定性。
-
Rethinking Memory in AI: Taxonomy, Operations, Topics, and Future Directions
Published: at 09:31 AM 85.11 🤔本文通过提出AI记忆系统的分类（参数、上下文结构化和非结构化）和六种基本操作（整合、更新、索引、遗忘、检索、压缩），系统化地综述了长期记忆、长上下文、参数修改和多源记忆等研究主题，并展望了未来方向。
-
Reinforcement Learning for Reasoning in Large Language Models with One Training Example
Published: at 01:19 AM 85.07 🤔本文发现，通过对大型语言模型应用带有可验证奖励的强化学习，仅使用一个训练示例即可显著提升其数学推理能力，效果可媲美使用数千示例进行训练，并揭示了饱和后泛化、跨领域泛化等现象，强调了策略梯度和探索的重要性。
-
LLM-Coordination: Evaluating and Analyzing Multi-agent Coordination Abilities in Large Language Models
Published: at 09:34 AM 85.07 🤔本文通过LLM-Coordination基准测试框架，评估大型语言模型在纯协调游戏中的多智能体协调能力，发现其在环境依赖任务中表现优异但在心智理论推理和联合规划中存在显著不足，同时展现出对未见伙伴的零样本适应性。
-
Unveiling the Mechanisms of Explicit CoT Training: How CoT Enhances Reasoning Generalization
Published: at 11:21 PM 85.04 🤔本文通过控制实验、内部机制分析和理论推导，揭示了显式思维链（CoT）训练通过形成二阶段泛化电路显著提升大型语言模型的分布内（ID）和分布外（OOD）推理泛化能力，并验证了其在噪声数据下的鲁棒性。