本文通过理论分析揭示了模型融合性能随专家模型数量增加而饱和的原因，并提出Reparameterized Heavy-Tailed方法扩展参数空间覆盖范围，在多个基准任务上验证了其有效性。
Parameter-Efficient Fine-Tuning, Foundation Model, Multimodal Systems, Efficiency
Zijing Wang, Xingle Xu, Yongkang Liu, Yiqun Zhang, Peiqin Lin, Shi Feng, Xiaocui Yang, Daling Wang, Hinrich Schütze
Northeastern University, China, CIS, LMU Munich, MCML, Germany
Generated by grok-3
Background Problem
模型融合（Model Merging）是一种将多个任务特定的专家模型整合为单一多任务模型的方法，旨在减少存储和计算资源需求，并提升模型对复杂任务的适应能力。然而，现有方法在融合较多专家模型时性能提升受限，甚至出现饱和或下降现象。本文从理论和实证角度探讨了这一现象背后的原因，试图揭示参数空间饱和和冗余对模型融合性能的影响，并提出解决方案以突破这一限制。
Method
本文提出了一种理论框架来分析模型融合的性能饱和问题，并设计了Reparameterized Heavy-Tailed (RHT)方法来提升融合效果。具体方法如下：
- 理论分析：通过高维几何中的Gaussian Width分析参数空间的边际效应递减，证明随着专家模型数量增加，参数空间的有效扩展逐渐饱和；利用近似运动学理论（Approximate Kinematics Theory）推导出融合模型数量的上限，指出参数冗余会导致性能下降。
- RHT方法：针对参数空间覆盖不足的问题，提出一种重参数化方法，通过两步变换（高斯差分和分量非线性放大）将参数分布从高斯分布转变为重尾分布（Heavy-Tailed Distribution），从而扩展参数空间的覆盖范围，增强模型对更多专家的融合能力。 批判性思考：理论分析中对参数分布和专家模型相关性的假设过于简化，可能无法完全反映实际复杂场景；RHT方法的非线性变换参数（如γ, α, β）选择依据不够清晰，缺乏对变换机制如何具体影响模型性能的深入探讨。
Experiment
实验在12个基准数据集上进行，涵盖知识密集型和通用任务，具体包括MMLU、MATH、MGSM等。实验设置包括：
- 上限验证：通过融合2到10个LoRA专家模型，验证了性能随模型数量增加而饱和的现象，实验结果与理论预测一致，性能在融合约6个模型后趋于稳定甚至下降。
- 领域相似性影响：测试了不同领域专家模型融合的效果，发现低相关性（近似正交）的专家模型融合效果优于高相关性模型，验证了理论中关于相关性对融合上限的影响。
- RHT效果：在多个任务上，RHT方法在融合更多模型时表现出性能提升，尤其在MMLU、MATH等任务上优于GENOME等基线方法，但改进幅度在某些任务上有限。 批判性思考：实验设计较为全面，但未充分探讨异构模型架构或非LoRA专家模型的融合效果，限制了结论的普适性；此外，RHT的性能提升在部分任务上不明显，可能是由于重尾分布对某些任务的适应性不足，实验中未对此进行深入分析。
Further Thoughts
本文提出的参数空间饱和和RHT方法为模型融合研究提供了新的视角，但其理论和方法仍存在局限性。未来研究可以探索更复杂的参数分布假设和异构模型架构下的融合效果，例如不同预训练模型（如Transformer和State Space Model）融合时的参数空间交互。此外，任务相关性和数据分布差异对融合上限的影响也值得深入研究，例如是否可以通过任务聚类或数据选择优化专家模型的选择策略。另一个有趣的方向是结合联邦学习（Federated Learning）思想，在分布式环境中进行模型融合，是否能通过分散的参数更新缓解参数冗余问题。这些方向可能进一步扩展模型融合的适用范围和性能上限。