Tag: Parameter Optimization

All the articles with the tag "Parameter Optimization".

• Dynamic Fisher-weighted Model Merging via Bayesian Optimization

  Published: 6 May, 2025 |  at  01:19 AM

  

  86.13 🤔

  本文提出了动态 Fisher 加权合并 (DF-Merge) 方法，通过贝叶斯优化动态调整微调模型的缩放系数，并在这些缩放模型上利用 Fisher 信息进行加权合并，从而高效地创建性能显著优于现有基线的多任务模型。

• W-PCA Based Gradient-Free Proxy for Efficient Search of Lightweight Language Models

  Published: 4 May, 2025 |  at  04:30 PM

  

  53.85 🤔

  本文提出 W-PCA 方法，通过结合参数数量和主成分分析，提供一种高效的零-shot NAS 代理，用于轻量级语言模型的搜索，显著提高了搜索效率和模型性能。