Two Is Better Than One: Rotations Scale LoRAs

本文提出 RadarGate，一种基于几何的门控方法，通过旋转和拉伸操作增强 LoRA-MoE 的表达能力，在拟合、泛化和可扩展性方面显著优于现有方法，实验结果在 6 个基准数据集的 21 个任务上得到验证。

Large Language Model, Parameter-Efficient Fine-Tuning, Low-Rank Adaptation, Multimodality, Efficiency

Hongcan Guo, Guoshun Nan, Yuan Yang, Diyang Zhang, Haotian Li, Zhican Chen, Qinchuan Zhou, Yuhan Ran, Xinye Cao, Sicong Leng, Xiaofeng Tao, Xudong Jiang

Beijing University of Posts and Telecommunications, China, Nanyang Technological University, Singapore, University of Bristol, UK

Generated by grok-3

Background Problem

大型语言模型（LLMs）在适应多样化下游任务时面临计算资源和训练效率的巨大挑战。Low-Rank Adaptation (LoRA) 作为一种参数高效的微调方法，通过冻结预训练模型权重并注入低秩可训练组件来降低计算成本。然而，随着任务多样性需求的增加，LoRA 与 Mixture of Experts (MoE) 的结合（即 LoRA-MoE）被提出以提升模型的可扩展性和泛化能力。现有 LoRA-MoE 的门控机制在 LoRA 数量增加时表现出欠拟合和泛化能力差的问题，限制了模型在多样化任务上的表现。本文旨在解决这些问题，通过提出一种新的几何门控方法来增强 LoRA 表达的丰富性和跨 LoRA 的特征交互能力。

Method

本文提出了 RadarGate，一种基于几何的门控方法，通过引入 LoRA 表示的旋转操作来提升可扩展性 LLMs 的表达能力和特征交互。其核心思想是超越传统的加权和机制，增加额外的自由度以解决欠拟合和泛化问题。具体方法包括两个关键组件：

• RotationGate：通过学习 LoRA 表示之间的相对角度关系，动态生成旋转矩阵 $R_i$，对每个 LoRA 表示 $v_i$ 进行旋转操作，扩展其表达空间。具体而言，旋转角度由可学习参数 $\theta_r$ 控制，并通过输入相关的二元关系计算得出（见公式 (8)）。
• StretchGate：在旋转后，对每个 LoRA 表示的幅度进行加权调整，输出最终的门控权重 $g_i$，以反映每个 LoRA 对任务的重要性。 整体工作流程如公式 (4) 所示，将旋转后的 LoRA 表示 $\tilde{v}_i$ 与加权系数结合，生成最终输出。作者声称这种方法通过扩展假设空间和动态输出空间（见 Lemma 1 和 Lemma 2），有效缓解了传统门控机制的局限性。然而，旋转操作的实际效果依赖于角度计算的准确性，而论文未充分讨论这一计算在复杂任务中的稳定性，可能存在潜在的优化困难。

Experiment

实验在多个公共基准数据集上进行，包括 GLUE、MMLU、WMT14、MATH、GSM8K 和 GPQA，涵盖 21 个任务，旨在验证 RadarGate 在拟合能力、泛化能力和可扩展性方面的表现。实验设置基于 Ubuntu 服务器，使用 PyTorch 框架和 NVIDIA A40 GPU。作者将 RadarGate 与多种基线方法（包括规则-based 和可学习方法，如 LoraHub、HydraLoRA、MoLE 等）进行对比，并通过准确率作为主要评估指标。

• 拟合能力：在同源训练和测试集上，RadarGate 在 90% 的任务中优于基线，部分任务性能提升超过 20%（见图 3a）。
• 泛化能力：在异源训练和测试集上，RadarGate 相较规则-based 方法提升 30%-50%，相较可学习方法提升 5%-10%（见表 1）。
• 可扩展性：随着 LoRA 模块数量（5-40）和模型参数规模（110M-8B）增加，RadarGate 表现出近单调的性能提升，优于基线的倒 U 型趋势（见图 4）。
• 消融实验：验证了 RotationGate 和 StretchGate 的互补性，完整 RadarGate 在 90% 任务中表现最佳（见图 3b、3c）。 然而，实验设计存在一定问题：基线方法的参数设置可能未被充分优化，部分对比结果可能高估了 RadarGate 的优势。此外，实验未充分探讨方法在极端规模或低资源场景下的表现，限制了结果的全面性。总体而言，实验结果支持了方法的有效性，但需更广泛的验证。

Further Thoughts

尽管 RadarGate 在理论和实验上展现了一定的创新性，但其旋转操作的实际影响机制仍需进一步探索。例如，旋转角度的计算依赖于输入相关的二元关系，但在高维空间中，这种关系的稳定性如何保证？此外，论文中提到的旋转操作的对比性（contrastive nature）是一个有趣的观察，可能与对比学习（Contrastive Learning）领域的研究有潜在联系，未来可以探索是否能结合对比学习方法进一步优化 LoRA 表示的对齐和分离效果。另一个值得思考的方向是，RadarGate 是否能推广到其他参数高效微调方法（如 Adapter 或 Prefix Tuning），以及在多模态任务中的应用潜力，如论文结论中提到的图像和视频数据处理场景。如果能在这些领域中验证其有效性，将进一步提升该方法的实用价值。