本文提出了一种无训练干预方法，通过在推理时移除大型语言模型中的语言特异性表示以解耦语言和推理，显著提升了多语言推理性能，尤其是在中低资源语言上，同时揭示了语言信号与推理准确性的负相关性。
Large Language Model, Multilingual Systems, Reasoning, Representation Learning, Cross-Lingual Generalization
Weixiang Zhao, Jiahe Guo, Yang Deng, Tongtong Wu, Wenxuan Zhang, Yulin Hu, Xingyu Sui, Yanyan Zhao, Wanxiang Che, Bing Qin, Tat-Seng Chua, Ting Liu
Harbin Institute of Technology, Singapore Management University, Monash University, Singapore University of Technology and Design, National University of Singapore
Generated by grok-3
Background Problem
大型语言模型（LLMs）在多语言推理任务中表现出显著的不平衡，性能主要集中在高资源语言（如英语和中文）上，而在中低资源语言上的表现较差。这种多语言推理能力的差距限制了LLMs的全球适用性，加剧了语言不平等，并边缘化了数据和投资有限的语言。论文从认知神经科学的视角出发，提出假设：LLMs中的推理和语言处理可以像人类大脑一样被分离，通过解耦这两者，可以提升跨语言推理的泛化能力，解决多语言推理性能不均的问题。
Method
论文提出了一种无训练的干预方法，通过在推理时对LLMs的隐藏状态进行因果干预，移除语言特异性表示，以实现语言和推理的解耦。具体步骤如下：
- 语言特异性子空间识别：通过计算不同语言在每个模型层上的平均表示，构建多语言潜在空间矩阵，并利用奇异值分解（SVD）将其分解为语言无关和语言特异性子空间（ 和 ）。
- 激活消融干预：在推理过程中，对隐藏状态 应用投影操作，移除其在语言特异性子空间 上的成分，得到调整后的表示 ，其中 控制消融强度。
- 验证语言特异性：通过可视化和语言保真度评估，确认移除的成分确实与语言特异性信号相关，表现为跨语言表示趋向英语主导的聚类，以及输出语言一致性的下降。 我对方法的批评在于：虽然理论上移除语言特异性表示可能有助于推理的跨语言泛化，但这种操作是否真正实现了推理和语言的解耦仍存疑。消融可能只是削弱了模型对特定语言的依赖，而非分离出独立的推理能力。此外，干预对语言保真度的负面影响表明，语言特异性信号对生成一致性至关重要，过度移除可能损害模型的实用性。
Experiment
实验在10个开源LLMs上进行，涵盖推理导向和通用模型，涉及11种语言（高、中、低资源语言各有代表），使用三个多语言推理基准（MGSM、XWinograd、M-MMLU）评估准确率。实验设置包括：
- 干预实施：基于vLLM框架，在中层隐藏状态上移除语言特异性成分，并在高层重新注入以保持输出一致性。
- 结果分析：干预后，所有模型在所有基准上的多语言推理性能均有提升，尤其在XWinograd和M-MMLU任务上（涉及常识推理和知识密集型问答），中低资源语言（如斯瓦希里语）的提升尤为显著（某些模型准确率翻倍）。
- 层级分析：中低层干预提升推理性能且保持输出保真度，而高层干预导致性能和保真度下降。
- 对比后训练方法：在Qwen-2.5-3B模型上，与有监督微调（SFT）和强化学习（RL）相比，无训练干预方法性能相当甚至优于RL。 批评与评估：实验设置覆盖了多种模型和语言，基准选择也较全面，体现了推理任务的多样性。然而，结果的解释可能过于乐观，性能提升是否完全归因于语言-推理解耦尚不明确，可能存在其他因素（如表示空间调整带来的副作用）。此外，语言保真度的下降表明干预可能牺牲了输出一致性，这在实际应用中可能是一个重要缺陷。对比实验仅限于单一模型，缺乏广度，无法充分证明干预方法的普遍优越性。
Further Thoughts
本文提出的语言-推理解耦思路为提升LLMs的多语言能力提供了一个新颖且轻量级的视角，但其理论基础和实际效果仍需进一步探索。例如，是否可以通过更精细的表示工程方法，不仅移除语言特异性信号，还能保留必要的语言上下文，以避免输出保真度的下降？此外，这种干预方法是否可以与其他领域（如多模态系统）结合，探索语言与视觉推理的解耦？与现有研究（如多语言预训练和后训练策略）的对比也值得深入，例如，将解耦干预与高质量多语言数据集构建结合，是否能进一步提升性能？另一个有趣的方向是，这种方法是否适用于其他非推理任务（如翻译或生成），以验证解耦假设的普适性。最后，考虑到英语在干预后成为默认输出语言的现象，未来研究可以探讨预训练数据分布对解耦效果的影响，以及如何设计更平衡的多语言表示空间，以避免高资源语言的过度主导。