Tag: Parameter-Efficient Fine-Tuning
All the articles with the tag "Parameter-Efficient Fine-Tuning".
-
Unraveling LoRA Interference: Orthogonal Subspaces for Robust Model Merging
Published: at 11:40 AM
89.76 🤔本文提出OSRM方法，通过在微调前约束LoRA子空间以减少任务间干扰，显著提升了多个语言模型在八个GLUE数据集上的合并性能，同时保持单任务准确性。
-
CoLA: Compute-Efficient Pre-Training of LLMs via Low-Rank Activation
Published: at 11:14 AM 89.66 🤔本文提出CoLA及其内存优化变体CoLA-M，通过用低秩自动编码器替换LLMs的全尺寸MLP和投影层，实现2倍模型大小和计算成本的减少，同时保持全秩性能，并在训练和推理中显著提升吞吐量。
-
Shadow-FT: Tuning Instruct via Base
Published: at 11:25 AM 89.60 🤔本文提出Shadow-FT框架，通过调优BASE模型并将权重更新直接移植到INSTRUCT模型，显著提升了大型语言模型在数学、编码和推理任务上的性能，同时不引入额外训练成本。
-
CoLA: Collaborative Low-Rank Adaptation
Published: at 11:08 AM 89.45 🤔CoLA通过提出灵活的LoRA架构和三种协作策略，结合扩展PiSSA初始化，显著提升了参数高效微调在多任务和数据稀缺场景下的性能和鲁棒性。
-
LIFT the Veil for the Truth: Principal Weights Emerge after Rank Reduction for Reasoning-Focused Supervised Fine-Tuning
Published: at 12:00 PM 89.25 🤔本文提出了一种低秩引导的稀疏微调方法LIFT，通过低秩近似后选择主要权重进行微调，在推理任务上显著优于全参数微调和LoRA等方法，同时保持内存效率。