Tag: RAG

All the articles with the tag "RAG".

• Sentinel: Attention Probing of Proxy Models for LLM Context Compression with an Understanding Perspective

  Published: 2 Jun, 2025 |  at  11:24 AM

  

  91.96 🤔

  Sentinel提出了一种轻量化的句子级别上下文压缩框架，通过探测0.5B代理模型的注意力信号实现高达5倍压缩率，并在LongBench基准上匹配7B规模系统的QA性能。

• R1-Searcher++: Incentivizing the Dynamic Knowledge Acquisition of LLMs via Reinforcement Learning

  Published: 30 May, 2025 |  at  11:15 AM

  

  88.65 🤔

  R1-Searcher++ 通过两阶段训练策略（SFT 和 RL），结合奖励机制和记忆模块，使大型语言模型自适应地平衡内部知识与外部检索，在多跳问答任务中显著提升准确性和检索效率。

• Llama See, Llama Do: A Mechanistic Perspective on Contextual Entrainment and Distraction in LLMs

  Published: 17 May, 2025 |  at  11:17 PM

  

  88.54 🤔

  本文提出上下文牵引（Contextual Entrainment）现象，揭示语言模型对提示中出现token的机制性偏好，并通过可微分掩码方法识别牵引头（entrainment heads），为理解和缓解分心问题提供了新视角。

• RARE: Retrieval-Augmented Reasoning Modeling

  Published: 21 May, 2025 |  at  11:28 AM

  

  86.57 🤔

  RARE提出了一种新范式，通过将领域知识存储外部化并优化推理能力，使轻量级模型在多领域基准测试中实现最先进的性能，超越检索增强的GPT-4和DeepSeek-R1。

• SEM: Reinforcement Learning for Search-Efficient Large Language Models

  Published: 18 May, 2025 |  at  11:14 AM

  

  71.64 🤔

  本文提出 *SEM* 框架，通过强化学习优化大型语言模型的搜索行为，在减少冗余搜索的同时提升回答准确性，显著提高推理效率。