Tag: Supervised Learning
All the articles with the tag "Supervised Learning".
-
R1-Code-Interpreter: Training LLMs to Reason with Code via Supervised and Reinforcement Learning
Published: at 11:42 AM
87.73 🤔本文提出 R1-Code-Interpreter 框架，通过监督微调和强化学习训练大型语言模型动态生成和执行代码，在 144 个推理和规划任务上显著提升准确率，R1-CI-14B 达到 64.1%，接近 GPT-4o+Code Interpreter 的性能。
-
MaskSearch: A Universal Pre-Training Framework to Enhance Agentic Search Capability
Published: at 11:19 AM 87.72 🤔本文提出 MASKSEARCH 框架，通过 Retrieval-Augmented Mask Prediction (RAMP) 预训练任务结合监督微调和强化学习，显著提升了大型语言模型在开放域多跳问答任务中的代理搜索能力。
-
AM-Thinking-v1: Advancing the Frontier of Reasoning at 32B Scale
Published: at 11:20 PM 87.46 🤔AM-Thinking-v1 是一个32B参数的密集语言模型，通过精心设计的监督微调和强化学习后训练框架，在数学推理和代码生成任务上实现了与大型MoE模型媲美的性能，展示了中型规模模型在推理能力与部署效率之间的平衡潜力。
-
How Much Backtracking is Enough? Exploring the Interplay of SFT and RL in Enhancing LLM Reasoning
Published: at 11:29 AM 87.38 🤔本文通过控制实验研究SFT和RL在增强LLM推理能力中的相互作用，发现短CoT预热对RL有中等贡献，回溯次数需与任务难度匹配，且RL对SFT数据正确性依赖较小而对结构一致性敏感。
-
Think2SQL: Reinforce LLM Reasoning Capabilities for Text2SQL
Published: at 11:18 PM 87.33 🤔本文通过结合监督微调（SFT）、强化学习（RL）及细粒度奖励函数（如QATCH），显著提升了小型LLM在Text2SQL任务中的推理能力和性能，Think2SQL-7B模型在BIRD数据集上超越了400B+参数模型。