本文提出Next Token Perception Score (NTPS)，一个量化自回归预训练与下游感知任务特征子空间对齐程度的度量方法，通过理论证明和实验验证其与线性探针性能的相关性，并展示其预测LoRA微调增益的实用性。
Large Language Model, Representation Learning, Pre-training, Fine-tuning, Parameter-Efficient Fine-Tuning
Yu-Ang Cheng, Leyang Hu, Hai Huang, Randall Balestriero
Brown University, Atlassian
Generated by grok-3
Background Problem
大型语言模型（LLMs）通过自回归预训练（即预测下一个token）学习通用表示已成为主流范式，但其在下游感知任务上的线性探针性能表现出显著的不一致性，表明自回归预训练学到的特征并非总是与下游任务对齐。本文旨在解决这一问题，提出一个关键问题：如何量化自回归预训练与下游感知任务之间的对齐程度，以解释线性探针在不同数据集上的效果差异？通过这一研究，作者试图揭示自回归预训练的局限性，并为模型在下游任务上的适应性提供理论和实践指导。
Method
本文提出了一种新的度量方法——Next Token Perception Score (NTPS)，用于评估自回归预训练与下游感知任务之间的特征子空间对齐程度。
- 核心思想：NTPS通过测量自回归特征子空间（V）和感知任务特征子空间（U）之间的重叠程度来量化对齐性，基于线性设定下的理论推导，证明其与额外回归损失成正比。
- 具体实现：NTPS的计算基于预训练模型的表示和标注数据，通过求解广义特征值问题得到U和V的子空间，然后利用正交投影计算重叠分数，公式为 ，其中P为V子空间的正交投影矩阵。
- 理论依据：在线性设定下，作者证明NTPS上下界定了自回归编码器相对于理想感知编码器的额外损失（Theorem 2），即对齐度越高，额外损失越小。
- 关键点与局限：尽管NTPS在理论上简洁且有保证，但其推导基于线性假设，未考虑注意力机制等非线性因素，可能限制其在复杂模型中的解释力。此外，计算NTPS需要遍历所有层和子空间维度k，计算成本较高，论文未提供优化策略。
Experiment
本文在实验上验证了NTPS的有效性和实用性，具体设置如下：
- 数据集与模型：实验覆盖了12个多样化的NLP下游数据集（如情感分析、意图分类、常识推理等）和8个预训练模型（参数规模从270M到8B，包括Qwen2、OpenELM、LLaMA3）。
- 实验设计：首先，比较了预训练模型线性探针与从头训练的性能，揭示自回归预训练在不同任务上的不一致性；其次，计算NTPS并验证其与线性探针性能（MSE损失和分类准确率）的相关性（Spearman相关系数）；最后，分析LoRA微调前后NTPS的变化，并测试NTPS预测LoRA微调增益的能力。
- 结果分析：NTPS与线性探针性能表现出强相关性，表明其作为对齐度量量的有效性；LoRA微调后NTPS在71/96次运行中提升，尤其在大模型中显著，但小模型中偶有下降，作者解释为能力有限导致的权衡，但缺乏深入证据支持。NTPS还能反向预测LoRA微调的准确率增益（低NTPS对应高增益），Spearman相关系数在0.40到0.90之间。
- 评价与问题：实验设置较为全面，覆盖了多种模型和任务，但对小模型NTPS下降的解释不够充分，未探讨任务类型对NTPS的影响差异。此外，NTPS计算复杂度高，实验未提供实际运行时间的分析，可能影响其作为轻量级预筛选工具的实用性。总体而言，实验结果支持了NTPS的理论价值，但未能完全解决其在非线性环境下的适用性问题。
Further Thoughts
NTPS提供了一个有趣的视角来理解自回归预训练与下游任务的对齐问题，但其线性假设可能限制了其在复杂模型（如基于注意力机制的Transformer）中的适用性。未来的研究可以探索如何将注意力机制纳入NTPS的计算框架，例如通过线性注意力模型来扩展其理论基础。此外，NTPS与任务类型之间的关系值得进一步分析，例如情感分析任务与常识推理任务在特征子空间对齐上的差异可能揭示自回归预训练的本质局限性。另一个有趣的方向是与其他领域的研究联系起来，例如在计算机视觉中，预训练模型的表示对齐问题是否也能通过类似子空间重叠的度量来分析？如果能，这种跨领域的视角可能为构建更通用的基础模型提供启发。最后，NTPS的计算复杂度是一个实际问题，是否可以通过近似方法或自适应选择k值来优化其效率，值得进一步探索。