本文通过结合监督微调（SFT）、强化学习（RL）及细粒度奖励函数（如QATCH），显著提升了小型LLM在Text2SQL任务中的推理能力和性能，Think2SQL-7B模型在BIRD数据集上超越了400B+参数模型。
Large Language Model, Zero-Shot Learning, Supervised Learning, Reinforcement Learning, Reasoning, Translation
Simone Papicchio, Simone Rossi, Luca Cagliero, Paolo Papotti
Politecnico di Torino, EURECOM
Generated by grok-3
Background Problem
随着关系型数据库中数据量的不断增加以及大型语言模型（LLM）的广泛应用，Text2SQL任务（将自然语言问题转化为可执行的SQL查询）成为了一个重要的研究领域。然而，小型LLM（3B-8B参数）在零样本学习（ZSL）环境下处理涉及多表和复杂SQL模式的查询时表现不佳，而监督微调（SFT）虽然能部分弥补预训练模型的知识缺陷，但在处理多跳推理的查询时仍有不足。本文旨在探索LLM推理能力对Text2SQL性能的影响，解决如何通过不同的训练策略（如ZSL、SFT、RL及SFT+RL）增强模型在复杂查询上的表现，特别是针对小型模型的局限性。
Method
本文提出了多种训练策略以增强LLM在Text2SQL任务中的推理能力，具体方法如下：
- 核心思想：通过在不同训练设置中引入推理轨迹和优化奖励函数，提升模型对复杂SQL查询的理解和生成能力，特别是在多表和多跳推理场景下。
- 具体策略：
- 零样本学习（ZSL）：测试预训练LLM在不进行任务特定训练的情况下，是否通过通用推理能力处理Text2SQL任务。
- 监督微调（SFT）：使用包含推理轨迹的任务特定数据集（如BIRD数据集的增强版本）对模型进行微调，数据集通过DeepSeek-R1模型合成推理轨迹，指导模型理解生成SQL的逻辑步骤。
- 强化学习（RL）：采用Group-Relative Policy Optimization（GRPO）算法，通过奖励函数优化模型生成的SQL查询。奖励函数包括传统执行准确率（EX）和基于QATCH框架的细粒度指标（Cell Precision, Cell Recall, Tuple Cardinality），此外还引入格式奖励（Format Reward）和标签计数奖励（Tag Count Reward）以鼓励结构化输出和避免奖励欺骗。
- SFT+RL混合策略：结合SFT和RL的两阶段训练，先通过SFT学习任务特定知识，再通过RL优化执行准确性和推理质量。
- 关键点：奖励函数设计中，Text2SQL相关奖励权重为0.85，格式和标签计数奖励分别为0.10和0.05，旨在平衡执行准确性和输出结构的优化；同时，限制数据库模式为与问题直接相关的子集，以隔离推理能力的影响。
Experiment
实验在四个基准数据集（BIRD、Spider、Spider-Syn、Spider-DK）上评估了不同训练策略对Text2SQL性能的影响，具体设置和结果如下：
- 数据集：训练使用BIRD数据集（原始版本用于RL，增强版本用于SFT，包含1142个带推理轨迹的实例），评估在BIRD开发集（1530个实例）和Spider系列数据集上进行，指标为执行准确率（EX）。
- 实验设置：基于Qwen-Coder-2.5模型家族（3B和7B参数），采用SFT（5轮，学习率4e-5）、RL（GRPO算法，学习率1e-6）和SFT+RL混合策略进行训练，并与多个开源和闭源模型（如gpt-4o、LLaMA）进行对比。实验限制数据库模式为相关子集，以聚焦推理能力。
- 结果分析：
- Think2SQL-7B模型（采用RL和QATCH奖励）在BIRD数据集上表现最佳，权重平均准确率为0.561，超越了400B+参数模型（如gpt-4o的0.541），尤其在挑战性查询上（0.385）。
- 小模型（3B和7B）在SFT和RL训练后性能显著提升，Think2SQL-3B较基线提升11.8%，Think2SQL-7B提升8.5%，表明推理轨迹和细粒度奖励对小模型更为有效。
- RL策略（特别是QATCH奖励）在复杂查询和多跳推理场景下表现优于SFT和传统EX奖励，显示细粒度奖励能提供更有效的反馈。
- SFT+RL混合策略在Spider系列数据集上展现出最佳泛化性，尤其在Spider-Syn和Spider-DK上，表明结合推理轨迹和RL优化能适应不同场景。
- 评价：实验设置较为全面，覆盖了不同难度和领域的查询，数据集选择合理（如BIRD的多领域特性）。然而，限制数据库模式子集可能导致结果过于理想化，未反映现实中模式链接的挑战；此外，奖励函数权重设计缺乏系统性调优依据，可能影响结果的鲁棒性。总体而言，实验结果与预期一致，证明了推理能力对Text2SQL性能的正向影响，但适用性可能受限于特定模型架构（Qwen-Coder-2.5）。
Further Thoughts
本文提出的细粒度奖励函数（如QATCH指标）在强化学习中的应用为Text2SQL任务提供了新的优化思路，但其权重设计（0.85 Text2SQL + 0.10 Format + 0.05 Tag Count）显得有些主观，未来可以借鉴其他领域（如数学推理或代码生成）中奖励塑造（Reward Shaping）的系统性方法，通过自动化调优或多目标优化进一步提升训练稳定性。此外，限制数据库模式为相关子集的做法虽然有助于聚焦推理能力，但忽略了模式链接（Schema Linking）这一现实挑战，未来研究可以探索联合优化推理和模式链接的策略，例如通过多任务学习或分阶段训练来模拟真实场景。另一个值得思考的方向是合成推理轨迹的质量对模型性能的影响，是否可以通过更高质量的人工标注或跨模型蒸馏来提升推理轨迹的多样性和深度？最后，本文的训练策略在其他任务（如自然语言推理或知识图谱查询）中是否同样有效，也是一个值得跨领域探索的问题，特别是在需要多跳推理的场景下，Text2SQL的训练范式可能为这些领域提供启发。