SORSA: Singular Values and Orthonormal Regularized Singular Vectors Adaptation of Large Language Models

本文提出SORSA，一种基于奇异值分解和正交正则化的参数高效微调方法，通过优化权重矩阵条件数提升大型语言模型在下游任务上的性能，并在GSM-8K等基准测试中显著优于LoRA和PiSSA等方法。

Large Language Model, Parameter-Efficient Fine-Tuning, Pre-training, Fine-tuning, Efficiency

Yang Cao, Zhao Song

Wyoming Seminary, UC Berkeley

Generated by grok-3

Background Problem

大型语言模型（LLMs）在预训练后展现出强大的泛化能力，但将其适配到特定下游任务时，传统的全参数微调（Full FT）因计算和内存需求过高而变得不切实际。参数高效微调（PEFT）方法因此受到关注，通过仅更新少量参数来降低成本。然而，现有PEFT方法（如LoRA）在低数据环境下容易过拟合，导致模型泛化能力下降甚至出现灾难性遗忘。论文指出，权重矩阵的条件数（condition number）是影响泛化能力的关键因素，LoRA等方法往往会恶化条件数，使模型不稳定。因此，本文提出SORSA方法，旨在通过改进权重矩阵的条件数来提升PEFT的性能和泛化能力。

Method

SORSA（Singular Values and Orthonormal Regularized Singular Vectors Adaptation）是一种新的参数高效微调方法，其核心思想和步骤如下：

权重分解：对预训练权重矩阵 $W^0$ 进行奇异值分解（SVD），将其拆分为主要权重 $W^p = U_p \text{diag}(S_p) V_p^\top$ 和残差权重 $W^r = U_r \text{diag}(S_r) V_r^\top$ ，其中 $W^p$ 包含前 $r$ 个最重要的奇异值和向量， $W^r$ 包含剩余部分。
训练策略：在训练过程中， $W^r$ 保持冻结，仅更新 $W^p$ 的组成部分（ $U_p$ 、 $S_p$ 、 $V_p$ ），从而减少参数量。
正交正则化：引入正交正则化项 $\mathcal{L}_{reg}(U_p, V_p) = ||U_p^\top U_p - I_m||_F^2 + ||V_p^\top V_p - I_n||_F^2$ ，以增强 $U_p$ 和 $V_p$ 的正交性，理论上降低 $W^p$ 的条件数，提升优化稳定性。
参数更新：通过结合训练损失和正则化损失的梯度进行更新，公式为 $W_{p,t+1} = W_{p,t} - \eta_t (\nabla_{W_{p,t}} \mathcal{L}_{\text{train}} + \frac{\gamma}{\eta_d} \nabla_{W_{p,t}} \mathcal{L}_{\text{reg}})$ 。
推理优化：SORSA适配器在推理时可合并到原始权重中，无额外延迟。 批判性思考：虽然正交正则化的理论依据看似合理，但其实际效果可能因任务和模型架构不同而异，且计算正则化梯度可能增加训练开销，尤其在超大规模模型中。此外，保持奇异向量正交性是否真能显著改善泛化能力，仍需更多理论和实验验证。

Experiment

实验分为数值分析和实证实验两部分：

数值分析：通过分析预训练权重在训练过程中的奇异值（ $\Delta \Sigma$ ）和奇异向量（ $\Delta D$ ）变化，比较SORSA、LoRA和全参数微调。结果显示，SORSA在奇异值和向量变化上显著小于其他方法，表明其能更好地保留预训练知识结构，避免灾难性遗忘。SORSA的不同矩阵更新模式也显示出更具针对性的适配能力。
实证实验：在自然语言生成（NLG）任务上测试SORSA，涉及Llama 2 7B、RWKV6 7B、Mistral 7B和Gemma 7B模型，使用MetaMathQA和CodeFeedback数据集训练，并在GSM-8K、MATH和HumanEval上评估。结果显示，SORSA在大多数情况下优于LoRA、PiSSA和AdaLoRA，例如Llama 2 7B在GSM-8K上达到56.03%准确率，显著高于LoRA（42.30%）和PiSSA（53.07%）。然而，在Gemma 7B的MATH任务上，SORSA（29.52%）表现不如PiSSA（31.94%）和AdaLoRA（31.44%），显示出不一致性。
实验设置与合理性：实验设置参考了PiSSA的训练配置，部分结果直接引用自PiSSA论文，确保了一定程度的可比性。但实验任务和模型数量有限，仅集中在数学和代码生成任务上，未能全面覆盖LLM的应用场景，限制了结果的普适性推断。此外，训练损失和梯度范数曲线显示SORSA在后期训练中损失下降更稳定，但初始阶段与PiSSA相近，表明其优势可能需要较长时间显现。 批判性思考：虽然SORSA在部分任务上表现优异，但结果的不一致性（如Gemma 7B在MATH上的表现）可能暗示方法对不同模型或任务的适配能力存在局限。实验规模较小，缺乏对计算资源需求的详细分析（如正则化带来的额外开销），也未探讨在更大规模数据集或模型上的表现，实验的全面性和说服力有待提升。

Further Thoughts

SORSA的正交正则化思路为PEFT领域提供了一个新视角，特别是在如何平衡模型适配和预训练知识保留方面。然而，其实际应用价值仍需进一步验证，尤其是在计算开销和大规模模型上的可扩展性方面。是否可以将SORSA与动态秩调整（如AdaLoRA）结合，以在训练过程中自适应地调整奇异值的数量，从而进一步提升效率和性能？此外，SORSA对条件数的优化是否能与其他正则化技术（如权重衰减）结合，以应对更复杂的任务场景？另一个值得探索的方向是，SORSA的奇异值和向量分析方法是否可以用于诊断模型遗忘的具体知识领域，从而设计更有针对性的微调策略。这些问题不仅与本文相关，也与更广泛的PEFT研究和LLM应用领域息息相关，值得未来深入研究。