Test-time Correlation Alignment

本文提出测试时相关性对齐（TCA）范式，通过构建伪源域相关性并应用线性变换对齐测试数据特征，显著提升测试时适应（TTA）性能，同时保持高效性和源域知识。

Test Time, Efficiency, Classification, Representation Learning, Unsupervised Learning

Linjing You, Jiabao Lu, Xiayuan Huang

中国科学院自动化研究所, 北京林业大学科学学院

Generated by grok-3

Background Problem

深度神经网络（DNNs）在训练和测试数据分布一致时表现出色，但现实中常面临分布偏移（distribution shift）问题，导致性能下降。传统的领域适应（DA）方法如 CORrelation ALignment (CORAL) 通过对齐源域和目标域的特征相关性来解决问题，但由于隐私和资源限制，训练数据往往不可访问，这促使了测试时适应（TTA）的研究。然而，现有 TTA 方法存在三大问题：(1) 忽视特征相关性，仅关注实例级对齐；(2) 依赖计算开销大的反向传播更新模型；(3) 领域遗忘，即适应后对源域性能的损失。本文提出测试时相关性对齐（TCA），旨在通过构建伪源域相关性并进行相关性对齐，解决上述问题，同时保持高效性和源域知识。

Method

本文提出了测试时相关性对齐（TCA）的理论框架和两种算法：LinearTCA 和 LinearTCA+。

• 核心思想：通过选择测试数据中高置信度的实例构建伪源域相关性矩阵，近似源域相关性，并通过对齐测试数据与伪源域的相关性来提升适应性能。
• 伪源域构建：对于每个测试实例，计算其预测不确定性 $ω_t^i = ||\hat{y}_t^i - p_t^i||_F^2$，并将嵌入和不确定性对存储在伪源域库中，保留不确定性最低的 k 个实例，计算伪源域相关性矩阵 $\hat{\Sigma}_s$。
• LinearTCA：通过线性变换 $W$ 对测试嵌入 $Z_t$ 进行相关性对齐，目标是最小化 $||W^T \Sigma_t W - \hat{\Sigma}_s||_F^2$，并同时对齐实例级均值偏移，最终得到变换后的嵌入 $Z_t' = (Z_t - \mu_t)W + \hat{\mu}_s$，无需更新模型参数。
• LinearTCA+：作为即插即用模块，在现有 TTA 方法优化后的嵌入和预测上应用 LinearTCA 的相关性对齐过程，进一步提升性能。

Experiment

实验在图像领域适应（PACS, OfficeHome）和图像损坏适应（CIFAR-10C, CIFAR-100C）任务上进行，采用 ResNet-18/50 和 ViT-B/16 作为骨干网络，比较了包括 BN, TENT, EATA 等在内的多种 TTA 方法。

• 设置合理性：数据集选择涵盖了不同类型的分布偏移，骨干网络多样化，评估指标包括准确率、效率和遗忘抗性，实验设计较为全面。
• 结果分析：LinearTCA+ 在所有数据集和骨干网络上均显著提升性能，例如在 OfficeHome 数据集上 ViT-B/16 骨干下提升了 5.88% 的准确率，达到新 SOTA。LinearTCA 相比源模型平均提升 1.79%-8.48%，但在 CIFAR-10C 和 CIFAR-100C 上不如某些高级方法。效率方面，LinearTCA 的 GPU 内存使用和运行时间极低，仅为最佳基线 EATA 的 6‰。遗忘抗性方面，LinearTCA 和 LinearTCA+ 表现优于其他方法，甚至在 PACS 数据集上展现正向后向迁移能力。
• 匹配预期：结果部分验证了理论分析，即相关性对齐能降低测试误差，但 LinearTCA 的线性变换局限性导致在复杂非线性分布偏移场景下性能受限。

Further Thoughts

本文提出的 TCA 方法在效率和遗忘抗性方面的优势令人印象深刻，特别是在边缘设备部署场景中具有潜在应用价值。然而，LinearTCA 的线性变换限制了其在复杂非线性分布偏移下的表现，未来引入非线性变换或结合深度生成模型（如 Diffusion Model）可能进一步提升性能。此外，论文中提到的正向后向迁移现象（positive backward transfer）是一个有趣的方向，值得深入研究其机制，可能是因为相关性对齐在某种程度上增强了模型的泛化能力。结合其他领域，如联邦学习（Federated Learning），TCA 的高效性和隐私保护特性可能在分布式环境中发挥作用，但需要进一步探讨伪源域构建在多源域场景下的鲁棒性。