Tag: Fine-tuning
All the articles with the tag "Fine-tuning".
-
R-LoRA: Randomized Multi-Head LoRA for Efficient Multi-Task Learning
Published: at 11:25 AM
86.91 🤔R-LoRA通过多头随机化（包括多头Dropout和随机初始化）增强了LoRA在多任务学习中的性能，有效提升了任务特定知识的捕获能力，同时降低了GPU内存使用和训练时间。
-
Scalable Fine-tuning from Multiple Data Sources: A First-Order Approximation Approach
Published: at 11:26 AM 87.86 🤔本文提出GRADEX算法，通过一阶近似快速估计语言模型微调损失，实现子集选择的30倍以上加速，并在指令微调和思维链微调任务中比基线方法提升高达3.8%的性能。
-
Large Vocabulary Size Improves Large Language Models
Published: at 11:24 AM 85.40 🤔本文通过实验证明较大词汇量能显著提升单语大型语言模型在英语和日语任务中的性能，并提出了一种在持续训练中更换词汇表的简单方法以适配目标语言，进一步提升模型表现。
-
Middle-Layer Representation Alignment for Cross-Lingual Transfer in Fine-Tuned LLMs
Published: at 11:27 AM 89.76 🤔本文提出了一种通过中间层表示对齐增强大型语言模型跨语言迁移能力的方法，在微调过程中交替优化任务和对齐目标，并在槽填充、机器翻译等任务中取得了改进，尤其对低资源语言有益。
-
No Task Left Behind: Isotropic Model Merging with Common and Task-Specific Subspaces
Published: at 11:25 AM 87.18 🤔本文提出了一种等向性模型合并框架，通过展平任务矩阵奇异值谱并结合公共与任务特定子空间，显著提升了多任务模型的性能，在视觉和语言任务上达到了最先进的合并效果。