Tag: Model Merging

All the articles with the tag "Model Merging".

• CAT Merging: A Training-Free Approach for Resolving Conflicts in Model Merging

  Published: 18 May, 2025 |  at  11:21 AM

  

  85.43 🤔

  CAT Merging提出了一种无需训练的多任务模型合并框架，通过参数特定的修剪策略有效减少知识冲突，在视觉、语言和视觉-语言任务上显著提升了合并模型性能，平均准确率分别提高2.5%（ViT-B/32）和2.0%（ViT-L/14）。

• Param$Δ$ for Direct Weight Mixing: Post-Train Large Language Model at Zero Cost

  Published: 4 May, 2025 |  at  04:30 PM

  

  86.83 😐

  本文提出Param∆方法，通过直接添加参数差值在零成本下实现后训练知识向新基模型的转移，达到与传统后训练相当的性能。