本文提出跨语言优化（CLO）方法，通过翻译数据和改进的DPO策略，将英语中心的大型语言模型有效转移到目标语言，在保持英语能力的同时显著提升目标语言性能，尤其在低资源语言中以更少数据取得优于传统SFT的结果。
Large Language Model, Transfer Learning, Multimodal Data, Instruction Tuning, Alignment
Jungseob Lee, Seongtae Hong, Hyeonseok Moon, Heuiseok Lim
Korea University
Generated by grok-3
Background Problem
大型语言模型（LLMs）主要在英语数据上预训练，导致其在其他语言上的性能较差，尤其是在数据资源有限的低资源语言中表现不佳。传统监督微调（SFT）方法在数据稀缺场景下往往过于偏向英语性能，无法有效适应目标语言。本研究提出了一种跨语言优化（CLO）策略，旨在通过利用公开的英语SFT数据和翻译模型，将英语中心的LLM有效转移到目标语言，同时保持其英语能力，解决目标语言能力不足和英语能力退化的问题。
Method
跨语言优化（CLO）方法的核心是通过翻译数据和改进的直接偏好优化（DPO）策略，实现英语中心LLM到目标语言的知识转移，同时避免英语能力的损失。具体步骤如下：
- 跨语言数据集准备：利用翻译模型（如M2M100 1.2B）将英语SFT数据集中的指令和响应翻译成目标语言，形成跨语言数据对。对于英语输入，优选英语响应，抑制目标语言响应；对于目标语言输入，优选目标语言响应，抑制英语响应，以强化输入输出语言的一致性。
- 跨语言优化：基于改进的DPO损失函数，结合负对数似然（NLL）损失，仅针对目标语言输出计算NLL损失，以避免英语偏见。同时，仅对模型的注意力层进行微调，依据研究表明语言能力主要存储在注意力层中。损失函数定义为：，其中是目标语言数据的NLL损失，是跨语言损失，用于强化输入输出语言的对应性。 批评与思考：虽然CLO方法在理论上通过语言对应性增强了目标语言能力，但其依赖翻译数据可能引入语义偏差，论文未充分探讨翻译质量对结果的影响。此外，仅微调注意力层的策略在低资源语言中效果不佳，可能限制了方法的普适性。
Experiment
实验在五个LLM模型（Llama-2-7B/13B、Llama-3-8B、Mistral-7B、Qwen-2.5-3B）上进行，覆盖六种语言（高资源：中文、德语；中资源：韩语、印尼语；低资源：斯瓦希里语、约鲁巴语），使用6400个英语样本及其翻译数据（共12800个样本）。评估基准包括AlpacaEval（指令跟随能力）、BELEBELE（机器阅读理解）和MMMLU（推理能力）。
- 结果：CLO在所有语言和模型上均优于SFT，尤其在低资源语言中，CLO仅用3200个样本就超越了SFT用6400个样本的表现。CLO在目标语言和英语性能上均有提升，而SFT在低资源语言中倾向于英语输出，性能提升依赖数据量。
- 数据量影响：在数据量从200到6400的变化实验中，CLO在低资源语言（如斯瓦希里语）中仅用1600个样本即可达到SFT用6400个样本的性能，显示出更高的数据效率。
- 设置合理性与批评：实验覆盖了不同资源水平的语言和多种模型，设计较为全面，但翻译数据的使用可能引入一致性问题，论文未提供翻译质量的详细分析。此外，CLO在低资源语言中仅微调注意力层的效果不佳（如斯瓦希里语全参数微调优于注意力层微调），表明方法对语言资源水平的适应性有限。评估数据集（如AlpacaEval）依赖翻译，可能无法完全反映语言特异性或文化背景，限制了结果的泛化性。
Further Thoughts
CLO方法在低资源语言中的数据效率优势令人印象深刻，但其对翻译数据的依赖可能是一个潜在的瓶颈。未来研究可以探索如何结合自监督学习或合成数据生成技术，减少对翻译模型的依赖，从而进一步提升跨语言转移的鲁棒性。此外，CLO目前仅针对单一目标语言的转移，是否能扩展到多语言同时优化是一个值得探索的方向，尤其是在多语言模型（如mBERT或XLM-R）的基础上，可能揭示更广泛的语言间知识共享机制。另一个思考点是CLO与RLHF（基于人类反馈的强化学习）等其他对齐方法的结合潜力，是否能通过引入人类偏好进一步优化跨语言一致性，尤其是在文化背景差异较大的语言对中，这可能为构建真正的多语言基础模型提供新思路。