Tag: Reasoning
All the articles with the tag "Reasoning".
-
Satori: Reinforcement Learning with Chain-of-Action-Thought Enhances LLM Reasoning via Autoregressive Search
Published: at 11:26 AM
85.95 🤔本文提出Satori模型，通过Chain-of-Action-Thought (COAT) 推理框架和两阶段训练（小规模格式调整与大规模强化学习），显著提升了单一7B大型语言模型在数学推理及非领域任务中的自回归搜索和推理能力。
-
AutoL2S: Auto Long-Short Reasoning for Efficient Large Language Models
Published: at 11:25 AM 85.93 🤔本文提出 AutoL2S 框架，通过标注长短推理路径和 <EASY> 标记训练 LLMs，使其根据问题复杂性动态选择推理长度，实验显示推理长度压缩高达57%，性能基本保持。
-
Brittle Minds, Fixable Activations: Understanding Belief Representations in Language Models
Published: at 11:24 AM 85.90 🤔本文通过探测和激活编辑实验，系统研究了语言模型内部信念表征的涌现、结构、鲁棒性和可增强性，发现表征随模型规模和微调改善，具有结构化特征但对提示变化脆弱，并可通过对比激活添加（CAA）显著提升ToM性能。
-
Scaling Reasoning without Attention
Published: at 11:25 AM 85.88 🤔本文提出 PROMPTCOT-MAMBA，一种基于 Mamba-2 状态空间模型的无注意力语言模型，通过两阶段课程微调和 PROMPTCOT 合成范式，在数学和代码推理任务上超越同规模甚至更大规模的 Transformer 模型，同时实现固定内存和高效推理。
-
Diffusion vs. Autoregressive Language Models: A Text Embedding Perspective
Published: at 11:23 AM 85.84 🤔本文提出基于扩散语言模型的文本嵌入方法DIFFEMBED，利用其双向注意力机制在长文档检索和推理密集型任务上显著优于自回归LLM嵌入模型，同时在传统嵌入任务上表现相当。