Tag: Low-Rank Adaptation

All the articles with the tag "Low-Rank Adaptation".

• Efficient Knowledge Transfer in Multi-Task Learning through Task-Adaptive Low-Rank Representation

  Published: 4 May, 2025 |  at  04:32 PM

  

  87.85 🤔

  本文提出 TA-LoRA 方法，通过任务自适应低秩表示和快速-缓慢权重机制提升多任务学习的知识转移效率，实现对未见任务的优异泛化性能，同时保持高参数效率。

• Activated LoRA: Fine-tuned LLMs for Intrinsics

  Published: 7 May, 2025 |  at  12:17 AM

  

  86.84 🤔

  本文提出 Activated LoRA (aLoRA)，一种改进的 LoRA 框架，通过仅对激活后 token 适配权重，复用基础模型 KV 缓存，实现高效动态适配，并在多个任务上保持与标准 LoRA 相当的性能，同时显著降低推理成本。

• TT-LoRA MoE: Unifying Parameter-Efficient Fine-Tuning and Sparse Mixture-of-Experts

  Published: 7 May, 2025 |  at  12:11 AM

  

  76.46 🤔

  本文提出TT-LoRA MoE框架，通过两阶段训练结合张量分解的低秩适配器和动态稀疏路由机制，以极低的参数量（LoRA的2%，AdapterFusion的0.03%）实现多任务NLP分类任务的竞争性性能，平均准确率提升约4个百分点，同时解决任务干扰和知识遗忘问题。

• Training Plug-n-Play Knowledge Modules with Deep Context Distillation

  Published: 4 May, 2025 |  at  04:28 PM

  

  69.06 🤔

  本文提出使用深度上下文蒸馏训练可插拔知识模块的方法，能够在低数据场景下高效整合文档知识，并通过实验证明其在问答任务中优于传统方法且与 RAG 具有协同效应。

• Replay to Remember: Retaining Domain Knowledge in Streaming Language Models

  Published: 4 May, 2025 |  at  04:30 PM

  

  65.14 🤔

  本文通过结合LoRA和轻量级重放机制的方法，在流式学习条件下帮助大型语言模型减轻灾难性遗忘，同时实现了实时域适应。