Tag: Computational Efficiency

All the articles with the tag "Computational Efficiency".

• TT-LoRA MoE: Unifying Parameter-Efficient Fine-Tuning and Sparse Mixture-of-Experts

  Published: 4 May, 2025 |  at  04:32 PM

  

  81.41 🤔

  本文提出 TT-LoRA MoE 框架，通过两阶段解耦的专家训练和路由机制，实现了参数高效的多任务学习，显著减少计算开销并保持性能。

• TT-LoRA MoE: Unifying Parameter-Efficient Fine-Tuning and Sparse Mixture-of-Experts

  Published: 7 May, 2025 |  at  12:11 AM

  

  76.46 🤔

  本文提出TT-LoRA MoE框架，通过两阶段训练结合张量分解的低秩适配器和动态稀疏路由机制，以极低的参数量（LoRA的2%，AdapterFusion的0.03%）实现多任务NLP分类任务的竞争性性能，平均准确率提升约4个百分点，同时解决任务干扰和知识遗忘问题。

• DyMU: Dynamic Merging and Virtual Unmerging for Efficient VLMs

  Published: 4 May, 2025 |  at  04:29 PM

  

  63.91 🤔

  本文提出DYMU框架，通过动态令牌合并和虚拟取消合并的训练-free方法，显著提高了VLMs的计算效率，同时在多个基准上保持了与完整模型相似的性能。