本文通过logit lens分析大型语言模型（LLMs）的跨语言不一致性，发现大型模型倾向于在个别语言子空间操作而非共享语义空间，并提出跨语言激活引导方法以提升小型模型的多语言推理性能和知识转移。
Large Language Model, Reasoning, Multimodal Data, Representation Learning, In-Context Learning
Zheng Wei Lim, Alham Fikri Aji, Trevor Cohn
The University of Melbourne, MBZUAI, Google
Generated by grok-3
Background Problem
大型语言模型（LLMs）在跨语言任务中表现出一定的能力，但当使用不同语言提出相同查询时，模型输出往往不一致，且在非英语语言上的性能差距显著。本研究旨在探究LLMs如何将知识从一种语言泛化到其他语言，解决跨语言一致性和知识转移不足的关键问题，揭示模型在多语言处理中依赖个别语言子空间而非共享语义空间的潜在原因。
Method
- 核心思想： 通过分析LLMs在多语言多选推理任务中的隐层表示，探究模型跨语言不一致性的原因，并提出跨语言激活引导方法来提升一致性和知识转移。
- 具体步骤：
- 一致性与转移评估： 使用Spearman相关系数（公式1）衡量语言对之间答案排名的相似性，定义正向和负向知识转移率（公式2和3），以评估模型在不同语言间的输出一致性和知识共享程度。
- 隐层表示分析： 采用logit lens方法（公式7），将中间隐层状态投影到词汇空间，计算答案选项的潜在概率分布，比较模型在英语和原生语言表示中的准确性和稳定性，分析其是否依赖共享语义空间（接近英语）或个别语言子空间。
- 跨语言激活引导： 提出一种激活引导方法（公式8），通过计算英语与目标语言查询在隐层激活上的差异向量，在推理时调整隐层状态，引导模型向英语共享空间靠拢（γ>0）或强化原生语言子空间（γ<0），以改善跨语言一致性和性能。
- 关键问题与批评： logit lens方法虽然直观，但可能过于简化了多语言处理的复杂性，未充分捕捉非线性表示的特性。此外，激活引导方法依赖线性向量调整，可能在大规模模型中效果有限，因为大型模型的隐层表示可能更加非线性，线性扰动不足以改变其行为模式。
Experiment
- 数据集与模型： 实验基于Gemma 2（2B, 9B, 27B）和Qwen 2.5（3B, 7B, 32B）模型，使用三个多语言数据集：BELEBELE（阅读理解，122种语言）、mMMLU（知识与问题解决，15种语言）和mHellaSwag（常识推理，10种语言），涵盖多种任务类型和语言范围。
- 实验设计： 评估模型在多选题任务中的准确性、一致性和知识转移率（正向和负向），通过logit lens分析隐层表示的潜在概率分布，比较英语与原生语言表示的稳定性，并测试跨语言激活引导对模型性能的影响。实验设置较为全面，覆盖了不同规模模型和语言类型，但部分数据（如mHellaSwag）依赖自动翻译，可能引入噪声，影响结果可靠性。
- 结果与分析： 实验表明，大型模型（如Gemma 2 27B, Qwen 2.5 32B）虽然整体准确性更高，但在跨语言一致性和知识转移上提升有限，且更倾向于在个别语言子空间中操作，而非共享语义空间。英语隐层表示在大多数情况下更稳定和准确。跨语言激活引导在小型模型（如Gemma 2B）上效果显著，准确性和一致性有所提升，但在大型模型上效果不明显，可能由于性能饱和或隐层表示非线性增加。低资源语言（如斯瓦希里语、约鲁巴语）的知识转移效果较差，未见随模型规模增加而显著改善。
- 评价与批评： 实验结果部分支持了作者的假设，即共享语义空间的使用有助于知识转移和一致性，但大型模型在个别语言子空间中的操作趋势未被充分解释，其对性能的具体影响需要更多分析。此外，实验主要聚焦多选题任务，方法和结论的普适性存疑，未充分探讨低资源语言表现差异的深层原因。
Further Thoughts
本文提出的跨语言激活引导方法为提升LLMs的多语言一致性提供了一个新思路，但其依赖英语作为共享语义空间的中心可能加剧文化和语言偏见，尤其是在非西方语言和文化背景下。未来研究可以探索非英语中心的共享空间构建方法，例如通过多语言对齐的预训练或多语言知识图谱的引入，以更公平地处理不同语言的表示。此外，论文未深入探讨低资源语言的表现差异，这可能与训练数据的分布不均有关，结合联邦学习（Federated Learning）或数据增强技术或许能改善这一问题。另一个值得思考的方向是，激活引导方法是否可以扩展到非多选题任务，如开放式问答或生成任务，这需要更复杂的隐层表示调整策略，可能涉及非线性方法的引入，如深度神经网络对隐层激活的动态调整。