Tag: Large Language Model
All the articles with the tag "Large Language Model".
-
Scaling Reasoning can Improve Factuality in Large Language Models
Published: at 11:09 AM
87.44 🤔本文通过从先进模型中提取并用知识图谱增强推理轨迹，微调Qwen2.5系列模型，并在复杂开放域问答任务中验证了测试时计算扩展（并行采样和预算强制）可提升事实准确性2-8%，尤其对小型模型效果显著。
-
Pre-Act: Multi-Step Planning and Reasoning Improves Acting in LLM Agents
Published: at 11:24 AM 87.43 🤔本文提出Pre-Act方法，通过多步骤规划和详细推理提升LLM代理性能，并通过微调小型模型（如Llama 3.1 70B）在Almita数据集上实现比GPT-4高69.5%的行动准确率和28%的目标完成率。
-
CoThink: Token-Efficient Reasoning via Instruct Models Guiding Reasoning Models
Published: at 11:15 AM 87.39 🤔CoThink 提出了一种双阶段推理框架，通过指令模型生成解决方案大纲指导推理模型完成解答，在保持准确率的同时平均减少 22.3% 的令牌生成量，提升了大型语言模型的推理效率。
-
How Much Backtracking is Enough? Exploring the Interplay of SFT and RL in Enhancing LLM Reasoning
Published: at 11:29 AM 87.38 🤔本文通过控制实验研究SFT和RL在增强LLM推理能力中的相互作用，发现短CoT预热对RL有中等贡献，回溯次数需与任务难度匹配，且RL对SFT数据正确性依赖较小而对结构一致性敏感。
-
RaaS: Reasoning-Aware Attention Sparsity for Efficient LLM Reasoning
Published: at 11:26 AM 87.36 🤔本文提出 RaaS 算法，通过识别推理任务中的里程碑令牌并采用 LRU 缓存策略管理 KV 向量，在保持高准确性的同时实现了 O(L) 的时间和内存复杂度，显著优于现有方法如 Quest 的内存效率。