Tag: Parameter-Efficient Fine-Tuning
All the articles with the tag "Parameter-Efficient Fine-Tuning".
-
Quantum-Enhanced LLM Efficient Fine Tuning
Published: at 04:28 PM
72.15 🤔本文提出量子张量混合适配（QTHA）方法，通过整合量子神经网络和张量网络，实现LLM的参数高效微调，显著减少参数量并提升性能，为量子增强人工智能奠定基础。
-
Dynamic Parametric Retrieval Augmented Generation for Test-time Knowledge Enhancement
Published: at 04:29 PM 71.89 🤔本文提出动态参数化RAG框架DyPRAG，通过训练一个轻量级参数翻译器在测试时动态转换文档为参数知识，显著降低成本、提升泛化能力和缓解RAG幻觉问题。
-
Block Circulant Adapter for Large Language Models
Published: at 04:34 PM 71.85 🤔本文提出块循环适配器方法，通过利用块循环矩阵和FFT优化LLM的微调过程，显著降低存储和计算成本，同时通过学习率调整确保训练稳定。
-
Towards Robust and Parameter-Efficient Knowledge Unlearning for LLMs
Published: at 01:27 AM 70.15 🤔本文提出了低秩知识遗忘（LoKU）框架，包含反向铰链损失（IHL）和 Fisher 加权低秩适配器初始化（FILA），以实现鲁棒且参数高效的大语言模型知识遗忘，有效移除敏感信息同时保持模型原有能力。
-
Training Plug-n-Play Knowledge Modules with Deep Context Distillation
Published: at 04:28 PM 69.06 🤔本文提出使用深度上下文蒸馏训练可插拔知识模块的方法，能够在低数据场景下高效整合文档知识，并通过实验证明其在问答任务中优于传统方法且与 RAG 具有协同效应。