Tag: Multi-Task Learning
All the articles with the tag "Multi-Task Learning".
-
Navigating the Accuracy-Size Trade-Off with Flexible Model Merging
Published: at 11:26 AM
85.58 🤔FlexMerge提出了一种无数据的灵活模型合并框架，通过逐块贪婪合并微调模型，支持任意大小模型生成，并在精度-大小权衡上展现出显著的初期精度提升和接近微调精度的潜力。
-
CAT Merging: A Training-Free Approach for Resolving Conflicts in Model Merging
Published: at 11:21 AM 85.43 🤔CAT Merging提出了一种无需训练的多任务模型合并框架，通过参数特定的修剪策略有效减少知识冲突，在视觉、语言和视觉-语言任务上显著提升了合并模型性能，平均准确率分别提高2.5%（ViT-B/32）和2.0%（ViT-L/14）。
-
Modeling Multi-Task Model Merging as Adaptive Projective Gradient Descent
Published: at 11:28 AM 85.29 🤔本文提出自适应投影梯度下降（DOGE）方法，通过数据无关优化目标和共享子空间构建，将多任务模型合并建模为约束优化问题，在视觉和NLP任务上显著提升性能并展现出优越的泛化能力。
-
TT-LoRA MoE: Unifying Parameter-Efficient Fine-Tuning and Sparse Mixture-of-Experts
Published: at 04:32 PM 81.41 🤔本文提出 TT-LoRA MoE 框架，通过两阶段解耦的专家训练和路由机制，实现了参数高效的多任务学习，显著减少计算开销并保持性能。
-
TT-LoRA MoE: Unifying Parameter-Efficient Fine-Tuning and Sparse Mixture-of-Experts
Published: at 12:11 AM 76.46 🤔本文提出TT-LoRA MoE框架，通过两阶段训练结合张量分解的低秩适配器和动态稀疏路由机制，以极低的参数量（LoRA的2%，AdapterFusion的0.03%）实现多任务NLP分类任务的竞争性性能，平均准确率提升约4个百分点，同时解决任务干扰和知识遗忘问题。