Posts

All the articles I've posted.

• Which Attention Heads Matter for In-Context Learning?

  Published: 5 May, 2025 |  at  11:15 PM

  

  90.67 👍

  本文通过对12个大型语言模型进行消融研究和训练动态分析，发现函数向量头是驱动少样本上下文学习的主要机制，尤其在大型模型中，并且许多函数向量头在训练过程中从归纳头演变而来，纠正了先前认为归纳头是主要驱动力的观点。

• Reinforcement Learning for LLM Reasoning Under Memory Constraints

  Published: 6 May, 2025 |  at  01:19 AM

  

  90.32 👍

  本文提出了S-GRPO和T-SPMO两种内存高效、无批评者的强化学习方法，结合LoRA微调，在有限硬件资源下显著提升了大型语言模型在数学推理任务上的性能，其中T-SPMO在需要细粒度信用分配的任务上表现尤为突出。

• Improving Reasoning Performance in Large Language Models via Representation Engineering

  Published: 6 May, 2025 |  at  11:15 PM

  

  88.60 👍

  本文通过表示工程方法，利用控制向量干预大型语言模型的残差流，成功提升了Pythia和Mistral模型在归纳、演绎和数学推理任务上的表现，表明推理能力可通过调整内部表示进行调控。

• RWKV-X: A Linear Complexity Hybrid Language Model

  Published: 4 May, 2025 |  at  04:32 PM

  

  87.80 👍

  本文提出RWKV-X，一种线性复杂度的混合语言模型，通过结合RWKV和稀疏注意力机制，提升长上下文建模能力，同时保持高效性和短上下文性能。

• Mem0: Building Production-Ready AI Agents with Scalable Long-Term Memory

  Published: 6 May, 2025 |  at  01:19 AM

  

  87.21 👍

  本文提出了Mem0及其图增强变体Mem0*^g*，这是一种可扩展的记忆架构，通过动态提取、整合和检索对话中的关键信息来赋予AI Agent长期记忆能力，并在LOCOMO基准测试中显著优于现有方法，同时大幅降低了计算开销。