Tag: Model Merging

All the articles with the tag "Model Merging".

• Dynamic Fisher-weighted Model Merging via Bayesian Optimization

  Published: 6 May, 2025 |  at  01:19 AM

  

  86.13 🤔

  本文提出了动态 Fisher 加权合并 (DF-Merge) 方法，通过贝叶斯优化动态调整微调模型的缩放系数，并在这些缩放模型上利用 Fisher 信息进行加权合并，从而高效地创建性能显著优于现有基线的多任务模型。

• Param$Δ$ for Direct Weight Mixing: Post-Train Large Language Model at Zero Cost

  Published: 4 May, 2025 |  at  04:30 PM

  

  86.83 😐

  本文提出Param∆方法，通过直接添加参数差值在零成本下实现后训练知识向新基模型的转移，达到与传统后训练相当的性能。