本文提出了一种通过中间层表示对齐增强大型语言模型跨语言迁移能力的方法，在微调过程中交替优化任务和对齐目标，并在槽填充、机器翻译等任务中取得了改进，尤其对低资源语言有益。
Large Language Model, Cross-Lingual Transfer, Representation Learning, Fine-tuning, Contrastive Learning
Danni Liu, Jan Niehues
Karlsruhe Institute of Technology
Generated by grok-3
Background Problem
大型语言模型（LLMs）在任务特定微调后表现出色，但在跨语言迁移中面临挑战，尤其是在低资源语言上，由于性能差距和微调数据稀缺，跨语言迁移效果不佳。本文通过分析超过1000个语言对的LLM内部表示，发现中间层在跨语言语义对齐中具有最大潜力，旨在通过在微调过程中引入中间层对齐目标，解决跨语言迁移性能不足的问题。
Method
本文提出了一种在任务特定微调中集成中间层对齐目标的方法，具体如下：
- 核心思想：通过在微调过程中优化中间层表示的跨语言对齐，增强LLM的跨语言迁移能力。
- 实现方式：采用交替训练策略，在每个训练步骤中分别优化任务特定目标（标准因果语言建模的交叉熵损失）和对齐目标（对比损失）。对齐损失通过最大化翻译句对的相似性、最小化非翻译句对的相似性来实现，公式为：，其中 是第 层隐藏状态的均值池化表示， 为余弦相似度。
- 关键点：对齐目标作用于中间层（基于分析发现中间层对齐潜力最大），并通过少量平行数据实现。此外，该方法支持模块化训练，即任务和对齐目标可分开训练后合并。
- 批判性思考：虽然方法创新地将对齐目标应用于中间层，但其依赖于均值池化表示可能限制了对复杂语义的捕捉，尤其是在非拉丁文语言中。此外，交替训练增加了计算成本，可能在资源受限场景下不实用。
Experiment
实验在槽填充（MASSIVE数据集）、机器翻译（ALMA和WMT23数据集）和结构化文本生成（UNER数据集）三个任务上进行，基于Llama 3和Qwen 2.5模型，使用LoRA适配器进行微调。
- 设置：在高资源语言上进行微调，测试在其他语言上的迁移性能。对齐数据主要来自Tatoeba，针对低资源语言仅需几百个平行句子。评估指标包括F1分数（槽填充和JSON生成）、BLEU和COMET（机器翻译）以及检索准确率（语义对齐）。
- 结果：在槽填充任务中，Llama 3和Qwen 2.5的迁移性能分别提升了F1 +1.5和+1.8，尤其对对齐语言的提升更大（F1 +4.2和+4.9）。机器翻译任务中，Llama 3在非英语生成方向上提升明显（BLEU +1.5，COMET +1.1），但Qwen 2.5在部分方向上表现不佳甚至下降（COMET -0.8）。在JSON生成任务中，迁移性能提升较小（F1 +0.5），且监督语言性能有所下降（F1 -1.0）。
- 分析与批判：实验设置覆盖了多种任务和语言，较为全面，但结果显示方法对不同模型和任务的适应性不一，尤其在Qwen 2.5上的不稳定表现可能与模型预训练数据的语言分布有关。此外，非拉丁文语言的改进有限，作者归因于分词问题，但未提供有效解决方案。长序列任务中的性能下降也表明方法对复杂输入的处理能力不足。总体而言，实验结果部分支持了方法的有效性，但未完全达到预期的一致性改进，且对低资源语言的实际帮助仍需更多验证。
Further Thoughts
本文提出的中间层对齐方法为跨语言迁移提供了一个新颖视角，但其局限性也启发了一些进一步思考。首先，非拉丁文语言的性能改进有限可能不仅仅是分词问题，还可能与模型预训练数据的语言偏见有关，未来可以探索结合语言特定预训练或分词优化的方法。其次，方法在长序列任务中的表现不佳提示我们，句级对齐目标可能无法充分捕捉上下文依赖的语义，是否可以通过引入上下文感知的对齐机制（如基于注意力机制的池化）来改进？此外，Qwen 2.5模型上的不一致结果表明，方法对不同模型的适应性可能受预训练数据分布的影响，未来研究可以深入分析模型预训练阶段的语言表示特性与对齐效果的关系。最后，本文提到的模块化训练和合并策略与最近的一些模型融合研究（如Matena和Raffel, 2022）有潜在联系，或许可以通过更复杂的融合技术（如任务特定的权重调整）进一步提升跨语言迁移性能，同时降低计算成本。