Tag: Parameter-Efficient Fine-Tuning
All the articles with the tag "Parameter-Efficient Fine-Tuning".
-
Decom-Renorm-Merge: Model Merging on the Right Space Improves Multitasking
Published: at 11:30 AM
89.89 🤔本文提出Decom-Renorm-Merge（DRM）方法，通过奇异值分解和重归一化构建共享表示空间以合并多任务模型权重，在视觉和语言任务上显著优于现有方法。
-
1bit-Merging: Dynamic Quantized Merging for Large Language Models
Published: at 11:52 AM 92.20 🤔1bit-Merging提出了一种动态模型合并框架，通过1位量化任务向量和任务特定路由，在保持94.53%性能的同时将存储需求降至55.02%，在通用知识、数学推理和代码生成任务上优于传统和动态合并方法。
-
Two Is Better Than One: Rotations Scale LoRAs
Published: at 11:30 AM 87.12 🤔本文提出 *RadarGate*，一种基于几何的门控方法，通过旋转和拉伸操作增强 LoRA-MoE 的表达能力，在拟合、泛化和可扩展性方面显著优于现有方法，实验结果在 6 个基准数据集的 21 个任务上得到验证。
-
MoRE: A Mixture of Low-Rank Experts for Adaptive Multi-Task Learning
Published: at 11:22 AM 93.37 🤔本文提出MoRE方法，通过将LoRA的不同秩视为专家并设计自适应秩选择器，显著提升了大型语言模型在多任务场景中的微调效率和性能，同时保持较低的参数量。
-
LoKI: Low-damage Knowledge Implanting of Large Language Models
Published: at 11:23 AM 87.82 🤔本文提出LoKI，一种参数高效微调框架，通过分析Transformer FFN层的知识存储机制和层平衡参数选择策略，在下游任务适应和预训练知识保留之间实现了竞争性平衡。