本文提出SeMe，一种基于语义对齐的无训练、无数据语言模型合并方法，通过潜在空间的语义分解和变换实现参数融合，旨在保留模型行为并稳定内部知识，但缺乏充分的实验验证。
Large Language Model, Representation Learning, Multimodality, Efficiency
Jian Gu, Aldeida Aleti, Chunyang Chen, Hongyu Zhang
Monash University, Technical University of Munich, Chongqing University
Generated by grok-3
Background Problem
语言模型（LM）在各种任务中表现出色，但由于架构、训练数据和微调策略的多样性，没有单一模型能在所有任务中始终占据优势。这促使研究者探索如何将多个LM的优势整合到一个模型中，而无需昂贵的重新训练或访问原始数据。现有的模型合并方法（如参数平均和任务引导融合）通常依赖数据采样或额外训练来计算合并系数，增加了计算成本和潜在偏差。此外，现有方法多关注模型预测行为的保留，而忽视了模型内部知识的保护，可能导致任务中的副作用。论文提出了一种无需数据和训练的模型合并新范式，通过语义对齐实现参数空间的细粒度融合，旨在解决上述问题并稳定内部知识。
Method
论文提出了SeMe（Semantic-based Merging），一种基于语义对齐的无训练、无数据模型合并方法，其核心思想和步骤如下：
- 语义向量性质假设：论文假设LM的潜在空间具有语义各向同性，语义可以通过潜在表示的向量分解和组合来量化，提出了‘语义场’的概念，类比物理场，认为语义可以通过向量加法合成或分解。然而，这一假设仅通过初步的理论分析和有限的经验验证支持，缺乏严谨的数学推导和广泛的模型测试。
- 语义保持变换：针对相邻模块间的潜在表示传递，提出了一种变换方法，通过计算语义基（semantic basis）并基于余弦相似度估计语义概率，确保信息无损传递。但该方法目前仅限于词汇表相同的场景，且未解决词汇表不同时的复杂情况，实际操作中的可行性存疑。
- 层级插值与语义对齐：对于异构模型，提出通过线性插值估计语义，并通过序列分割和词汇映射解决模型输出序列和词汇表不一致的问题。然而，这些步骤依赖于启发式对齐方法，缺乏数据支持，且未明确如何在无数据情况下实现有效的语义对齐。
- 成对知识融合：通过选择一个枢轴模型（pivot model）与源模型成对融合，构建中间目标模型，但具体融合策略仍依赖于输出分布的比较，与论文声称的‘无数据’目标存在矛盾。
批判性评价：SeMe的核心思想（语义对齐）虽然新颖，但其理论基础和实现细节不够成熟。语义场的概念和向量分解假设缺乏足够的理论支持和实验验证，特别是在异构模型合并中的适用性未被证明。此外，方法中提到的‘无数据’特性与部分步骤（如成对知识融合依赖输出分布）存在矛盾，显示出设计上的不一致性。
Experiment
论文在实验部分严重不足，未能提供具体的实验设置、数据集、模型选择或量化结果，仅提及了语义分解的经验验证（如在CodeGen模型上的初步测试）和概念性分析。论文声称SeMe在性能和效率上优于现有方法，并消除了对外部数据的依赖，但未提供任何对比数据或具体指标来支持这一说法。实验设计未涵盖异构模型合并的复杂场景，也未验证语义保持变换在实际任务中的效果。批判性评价：缺乏具体的实验结果和综合的实验设置使得论文的结论缺乏可信度。作者提到的‘广泛实验’仅停留在文字描述，未能展示方法改进的明显性或实验设计的合理性。这种缺失严重削弱了论文的可信度和实用价值，建议作者补充详细的实验数据和对比分析，以验证SeMe方法的有效性。
Further Thoughts
尽管SeMe方法在理论上提出了一种有趣的语义对齐视角，但其实际应用价值仍需更多验证。我认为语义对齐的概念可以与其他领域的研究结合，例如多模态学习中的跨模态对齐方法（如图像和文本的潜在空间对齐），或许能为异构LM合并提供新的思路。此外，论文中提到的内部知识保护问题与当前大语言模型的可解释性和安全性研究密切相关，未来可以探索语义对齐是否能帮助揭示模型内部的知识结构，或用于对抗性攻击的防御。然而，当前论文的理论和实验基础过于薄弱，建议作者进一步研究语义向量性质在不同模型架构中的普适性，并与现有方法（如TIES-Merging）进行严格的对比实验，以明确SeMe的独特贡献和局限性。