本文提出低秩适应（LoRA）、整合和顺序合并三种策略以提升持续学习的可扩展性，通过减少重放样本需求（最高65%）并结合高效微调技术，在图像分类任务中显著提高性能。
Continual Learning, Parameter-Efficient Fine-Tuning, Replay, Efficiency, Regularization
Truman Hickok
Southwest Research Institute
Generated by grok-3
Background Problem
持续学习（Continual Learning, CL）是人工智能领域的重要挑战，旨在让模型在动态环境中通过交互和学习不断改进，而不遗忘先前知识。当前，重放（Replay）作为一种核心策略，通过回溯过去数据来缓解灾难性遗忘，但其计算成本高昂，尤其是在大规模任务序列中。此外，持续学习领域尚未充分借鉴多任务微调领域的技术，如低秩适应（LoRA）和模型合并（Model Merging），以实现更高效的学习。本文聚焦于解决重放策略的可扩展性问题，探索如何在减少重放样本的同时保持模型性能，并整合高效微调技术以应对多任务序列挑战。
Method
本文提出了三种持续学习策略以提高可扩展性：
- 低秩适应（LoRA）：基于参数高效微调（PEFT），通过低秩分解近似权重更新（），在每个任务后将学习到的低秩更新合并到基础模型中，减少训练参数并提供正则化以缓解遗忘。然而，其在高重放比例下表现不如全模型微调（FFT），可能因容量限制而欠拟合新任务。
- 整合（Consolidation）：一种分阶段重放策略，在任务学习阶段大幅降低重放比例（RR），随后在整合阶段使用针对性分布的样本重新训练，以恢复可能退化的知识，旨在提高样本效率。当前分布优化较为简单，未来需更精细设计。
- 模型合并（Model Merging）：包括并行合并（Parallel Merging）、指数移动平均（EMA）和顺序合并（Sequential Merging）。顺序合并在每个任务后合并前后模型权重（），以适应持续学习的序列特性。虽然效率高，但与EMA性能接近，未完全体现独特优势。 三种策略可协同工作，尤其顺序合并与整合结合时效果最佳。
Experiment
实验基于Open-CLIP视觉变换器，在ImageNet-1k子集上预训练后，针对任务增量学习（TIL）、类别增量学习（CIL）和持续预训练（CPT）三种场景进行测试，任务数固定为20，每个任务6个类别，采用3个随机种子取平均结果。
- LoRA：在低重放比例（RR<1.0）和小任务场景下，LoRA在CPT中显著优于FFT，尤其在防止遗忘方面表现突出；但在高重放比例或大任务场景下，FFT表现更好，显示LoRA容量限制。
- 整合：通过降低任务学习阶段的重放比例并在整合阶段重新训练，成功将总重放样本减少55%（TRP=45%）仍达到基准性能，尤其在CIL中提高平均精度并减少异常值，但CPT中分布优化不足导致效果不均。
- 模型合并：顺序合并在多任务场景下优于并行合并，与EMA性能相当，尤其在CIL中随任务数增加优势明显（20任务时精度差5%）。
- 组合策略：顺序合并与整合结合时效果最佳，在CIL和CPT中精度最高，且总重放样本减少65%仍达基准性能。实验设计合理，但局限于图像分类，未涉及多模态或超大规模任务，部分结果（如整合分布优化）未达预期，需进一步改进。
Further Thoughts
本文提出的整合策略和顺序合并为持续学习提供了新的思路，但其实际应用仍需更多探索。整合阶段的样本分布优化是一个关键方向，若能结合特征漂移或精度下降的具体指标进行针对性重放，可能进一步提升效率。此外，LoRA在高重放比例下的表现不如FFT，提示我们在资源充足时可能仍需依赖传统微调方法，这与当前大模型趋势（如大规模预训练后微调）存在一定矛盾，未来可研究LoRA与其他正则化技术的结合以突破容量限制。顺序合并与EMA性能接近，是否能在动态任务边界或多模态场景中体现更大优势值得关注，尤其是在与RAG（检索增强生成）结合时，可能为持续学习提供更灵活的知识整合方式。最后，论文未涉及超大规模任务序列或模型的测试，而这正是持续学习在现实世界（如智能代理或机器人）中的核心挑战，未来研究应聚焦于此，以验证方法的可扩展性。