Tag: Parameter-Efficient Fine-Tuning
All the articles with the tag "Parameter-Efficient Fine-Tuning".
-
Knowledge Grafting of Large Language Models
Published: at 11:21 AM
88.92 🤔GraftLLM提出了一种通过模块感知压缩生成SkillPack的方法，实现大型语言模型间高效跨能力转移、知识融合和无遗忘持续学习，并在多个基准测试中显著优于现有方法。
-
LiSTEN: Learning Soft Token Embeddings for Neural Audio LLMs
Published: at 11:20 AM 88.81 🤔本文提出LiSTEN框架，通过动态提示选择策略高效适应大型语言模型到音频任务，在减少大规模数据集依赖和训练参数量的同时，实现了多任务学习中的竞争性能和更高的可解释性。
-
Activation Control for Efficiently Eliciting Long Chain-of-thought Ability of Language Models
Published: at 11:26 AM 88.80 🤔本文通过分析大型语言模型中长链式思维能力的激活模式，提出了一种训练无关的激活控制方法（EELo-CoT）和参数高效微调策略，在推理时动态调整激活值以显著提升自反思率和准确率。
-
Parameter-Efficient Fine-Tuning with Column Space Projection
Published: at 11:16 AM 88.66 🤔本文提出PiCa，一种基于谱特性的参数高效微调方法，通过将梯度投影到预训练权重的低秩列子空间并结合权重共享，在显著减少参数量的同时实现了优于LoRA和SVFT的性能。
-
SLOT: Sample-specific Language Model Optimization at Test-time
Published: at 11:22 AM 88.26 🤔本文提出SLOT方法，通过测试时对每个输入提示优化一个轻量级样本特定参数向量δ，显著提升大型语言模型在推理任务上的性能，如Qwen2.5-7B在GSM8K上提升8.65%。