本文提出了一种通过表示引导调整大型语言模型层级表示的方法，以提升多语言任务性能，实验显示其在多种任务中优于基本提示并接近翻译基线，但对英语任务有负面影响且对低资源语言改进有限。
Large Language Model, Representation Learning, Multimodality, Alignment, Instruction Tuning
Omar Mahmoud, Buddhika Laknath Semage, Thommen George Karimpanal, Santu Rana
Deakin University, Australia
Generated by grok-3
Background Problem
大型语言模型（LLMs）在英语任务上表现出色，但在非英语语言（尤其是低资源语言）上的表现较差，主要由于训练数据的匮乏和翻译方法的成本与质量限制。现有研究表明，LLMs在处理非英语输入时常在中间层将其翻译为英语，但这种内部翻译存在对齐不完善的问题，导致多语言任务性能不一致。本文试图通过研究LLMs内部如何处理多语言提示，探索一种不依赖翻译的原生多语言处理方法，解决非英语语言表示与英语表示的对齐问题，以提升模型在多语言任务中的表现。
Method
本文提出了一种基于表示引导（representation steering）的方法，通过在模型特定层的激活值上添加一个学习到的引导向量（steering vector）来调整非英语语言的表示，使其更接近英语表示。具体步骤如下：
- 核心思想：通过学习一个线性流形（manifold），将目标语言的表示分布向英语表示分布对齐，而无需对模型进行大规模微调。
- 实现方式：
- 使用两种方法学习引导向量：基于直接偏好优化（DPO）的BiPO方法，通过双向建模英语与目标语言的响应关系优化向量；以及基于均方误差（MSE）的方法，通过最小化目标语言调整后表示与英语表示之间的差异来学习向量。
- 在推理阶段，将学习到的引导向量添加到特定层的残差流（residual stream）中，调整每个token的表示，公式为 ，其中 是控制调整幅度的标量。
- 关键点：该方法不修改原始模型参数，仅在推理时进行干预，旨在提高效率并减少对模型的破坏。 批判性思考：虽然方法在理论上具有一定创新性，但引导向量作为线性调整工具，可能无法充分捕捉语言间复杂的非线性映射关系，尤其是在处理语言结构差异较大的情况下。此外，论文未充分探讨如何选择最佳干预层，以及固定引导向量在不同上下文中的适应性问题。
Experiment
实验设计围绕三个研究问题展开：（1）表示干预是否提升模型性能；（2）内部翻译质量是否可量化；（3）引导向量是否可跨语言迁移。使用的数据集包括多语言数学推理数据集MSVAMP和通用任务数据集Tatoeba，评估任务涵盖数学推理（MGSM）、语言理解（XLNI）等五个领域，涉及高、中、低资源语言。实验在多个开源模型（如Llama2-7B、Aya23-8B）上进行，并与基本提示、Google Translate、NLLB等基线方法对比。
- 结果：DPO引导方法在大多数任务和语言上优于MSE方法，且显著优于基本提示和部分基线（如XLT和5-shot prompting），但与Google Translate相比仍有差距，尤其在高资源语言上。Aya23-8B模型在多语言任务中表现较好，但对英语任务有负面影响。
- 实验设置分析：实验覆盖了多种任务和语言资源级别，设计较为全面，但对低资源语言的改进有限，且未充分探讨训练与测试数据分布不一致时的性能下降问题。此外，论文未提供足够证据证明引导向量在不同模型架构间的普适性。
- 批判性思考：实验结果虽然显示出一定改进，但与翻译基线的差距表明该方法并未完全解决多语言对齐问题。干预对英语任务的负面影响也提示潜在的表示冲突问题，需进一步优化干预策略。
Further Thoughts
本文提出的表示引导方法虽然在多语言任务中展现了一定潜力，但其线性引导向量的局限性值得深入探讨。未来研究可以考虑逐个token动态学习引导向量，以捕捉更细粒度的语言差异。此外，论文中提到的引导向量跨语言迁移性是一个有趣的方向，但实验仅限于少数语言对，未能覆盖更多语言家族（如非洲或南亚语言），这限制了结论的普适性。另一个值得思考的点是，该方法与监督微调（SFT）和人类反馈强化学习（RLHF）的结合潜力：是否可以通过结合这些技术，在预训练阶段就构建更语言无关的表示空间，从而减少推理时干预的需求？此外，考虑到多语言模型在实际应用中的公平性问题，未来工作应更关注低资源语言的表现，确保技术进步不会进一步加剧语言资源的不平等。