本文提出 RAISE 框架，通过强化学习驱动的动态指令选择方法，根据指令对模型性能的预期影响自适应选择训练数据，仅用 1% 训练步骤即可超越全数据训练效果，并在多个基准测试中显著优于静态选择基线。
Large Language Model, Instruction Tuning, Reinforcement Learning, Data Selection, Task-Specific Optimization
Lv Qingsong, Yangning Li, Zihua Lan, Zishan Xu, Jiwei Tang, Yinghui Li, Wenhao Jiang, Hai-Tao Zheng, Philip S. Yu
Tsinghua University, University of Illinois Chicago, Guangdong Laboratory of Artificial Intelligence and Digital Economy (SZ)
Generated by grok-3
Background Problem
大型语言模型（LLMs）的指令微调（instruction fine-tuning）是提升模型性能的重要手段，但现有研究表明，少量高质量指令往往比大量低质量指令更有效。当前指令选择方法多依赖启发式质量指标（如语法正确性、清晰度等）进行静态选择，无法适应训练过程中模型数据需求的变化，也难以针对特定任务进行优化。因此，本文提出了一种动态、任务目标驱动的指令选择框架 RAISE（Reinforced Adaptive Instruction SElection），旨在通过优化整个指令微调过程，解决静态选择方法中存在的不足，包括缺乏适应性、启发式指标的认知偏差以及任务无关性等问题。
Method
RAISE 的核心思想是通过一个动态、任务驱动的指令选择框架，在训练的每一步根据指令对模型性能提升的预期影响（即‘动态价值’）来选择指令子集。其主要步骤如下：
- 问题建模：将动态指令选择建模为一个序列决策问题，使用马尔可夫决策过程（MDP）描述训练过程中的状态、动作和奖励。状态包括当前训练状态和指令特征，动作是选择的指令批次，奖励是模型性能的提升。
- 状态融合（State Fusion）：通过融合函数将训练进度、指令难度、语义信息和可用性状态等多个组件结合，形成综合状态表示，用于指导指令选择。
- 获取函数（Acquisition Function）：设计一个可训练的多层感知机（MLP）作为获取函数，估计每个指令的动态价值，并通过强化学习（PPO 算法）优化选择策略。
- 多样性约束（Diversity Constraint）：通过 K-means 聚类将指令分组，并在每个训练批次中从不同类别中均衡采样，确保选择的指令具有多样性。
批判性思考：虽然 RAISE 的动态选择机制在理论上优于静态方法，但其复杂性可能导致计算成本较高，尤其是在状态融合和 RL 训练过程中。此外，获取函数对动态价值的估计是否足够准确，可能会受到训练数据分布和任务特异性的影响，论文中未充分讨论估计误差对性能的影响。
Experiment
RAISE 在 Alpaca-52K 数据集上进行指令微调，并使用 MMLU、ARC-Challenge、CommonsenseQA 和 GSM8K 四个基准数据集进行评估。实验设置中，RAISE 和基线方法（如 RAND、IFD、DEITA、AlpaGasus 和 SSPL）在总更新步骤数上保持一致，静态方法选择 1% 数据并训练 3 个 epoch，动态方法则匹配等量训练步骤。
结果分析：
- RAISE 仅使用 1% 的训练步骤即超越了全数据训练的性能，尤其在 Llama-3.2-3B 模型上表现突出，表明其有效捕捉了任务目标相关的高价值数据。
- 相较于其他基线方法，RAISE 在不同模型（Llama-3.2-1B、Llama-3.2-3B、Qwen-2.5-3B）上均表现出色，尤其在任务特异性优化（如 GSM8K）中显著优于依赖启发式指标的基线。
- 消融实验表明状态融合中的阶段状态（Stage State）对性能影响最大，多样性约束在数据量极少（1%）时可能限制性能，但在数据量增加（5%）时效果更佳。
批判性思考：实验结果令人印象深刻，但设置中静态方法和动态方法的对比可能存在不完全公平的情况，静态方法缺乏动态调整可能天然处于劣势。此外，‘less is more’现象虽有趣，但论文未提供充分的理论解释，可能是 Alpaca 数据集中任务相关指令分布不均导致的。实验覆盖的模型和数据集较为有限，未充分验证 RAISE 在更大规模模型或更多样化任务上的泛化能力。
Further Thoughts
RAISE 的动态指令选择机制为指令微调提供了一个全新的视角，但其实际应用中的可扩展性问题不容忽视。论文中提到的内存开销问题或许可以通过状态压缩或分布式训练解决，例如借鉴联邦学习（Federated Learning）中的数据分片思想，将大规模数据集分散处理。此外，RAISE 的任务特异性优化能力是否可以扩展到多任务场景是一个有趣的方向：如果能在多个任务间动态平衡指令选择，可能会进一步提升模型的泛化能力。另一个值得探索的领域是与自监督学习（Self-Supervised Learning）的结合，通过无标签数据预训练获取函数，减少对验证集的依赖，从而降低任务特异性优化的成本。这些方向可能为未来的指令微调研究提供新的启发。