Tag: Parameter-Efficient Fine-Tuning
All the articles with the tag "Parameter-Efficient Fine-Tuning".
-
Efficient Knowledge Transfer in Multi-Task Learning through Task-Adaptive Low-Rank Representation
Published: at 04:32 PM
87.85 🤔本文提出 TA-LoRA 方法，通过任务自适应低秩表示和快速-缓慢权重机制提升多任务学习的知识转移效率，实现对未见任务的优异泛化性能，同时保持高参数效率。
-
LoKI: Low-damage Knowledge Implanting of Large Language Models
Published: at 11:23 AM 87.82 🤔本文提出LoKI，一种参数高效微调框架，通过分析Transformer FFN层的知识存储机制和层平衡参数选择策略，在下游任务适应和预训练知识保留之间实现了竞争性平衡。
-
MELoRA: Mini-Ensemble Low-Rank Adapters for Parameter-Efficient Fine-Tuning
Published: at 11:52 AM 87.68 🤔本文提出MELoRA，通过并行堆叠多个小型LoRA模块实现更高的等效秩，以更少的参数在自然语言理解和指令跟随任务上显著优于LoRA。
-
Initialization using Update Approximation is a Silver Bullet for Extremely Efficient Low-Rank Fine-Tuning
Published: at 01:15 PM 87.30 🤔本文提出LoRA-SB方法，通过基于全参数微调第一步梯度近似的初始化策略优化低秩微调，在参数量减少27-90倍的情况下，显著超越LoRA-XS并接近全参数微调性能。
-
Two Is Better Than One: Rotations Scale LoRAs
Published: at 11:30 AM 87.12 🤔本文提出 *RadarGate*，一种基于几何的门控方法，通过旋转和拉伸操作增强 LoRA-MoE 的表达能力，在拟合、泛化和可扩展性方面显著优于现有方法，实验结果在 6 个基准数据集的 21 个任务上得到验证。