本文提出通过构建小型代理模型训练视觉编码器并零样本嫁接至大型LLM（如Llama-70B），在保持视觉理解能力的同时将VLM训练成本降低约45%。
Large Language Model, Vision Foundation Model, Multimodal Systems, Zero-Shot Learning, Pre-training, Efficiency
Kaiyu Yue, Vasu Singla, Menglin Jia, John Kirchenbauer, Rifaa Qadri, Zikui Cai, Abhinav Bhatele, Furong Huang, Tom Goldstein
University of Maryland, Meta
Generated by grok-3
Background Problem
视觉语言模型（VLM）通常将中等规模的视觉编码器与大型语言模型（LLM）如Llama-70B结合，导致训练过程中解码器的计算负担极高。为了降低训练成本，本研究探索了一种策略：先使用小型语言模型训练视觉编码器，然后将其转移到大型LLM中。关键问题在于如何构建与目标LLM共享嵌入空间的小型代理模型（surrogate model），以实现视觉编码器的有效对齐和转移，同时显著减少训练资源消耗。
Method
本研究提出了一种构建小型代理模型的方法，用于训练视觉编码器并将其零样本嫁接（zero-shot grafting）到目标大型LLM中。核心步骤如下：
- 预测轨迹分析：通过计算LLM各层隐藏状态的中间概率分布与最终输出的KL散度，识别预测过程中的阶段转换点（transition point），将模型层分为早期阶段（early phase）和晚期阶段（late phase）。
- 代理模型构建：保留目标LLM的早期阶段层（负责基础特征提取），用一个翻译器层（translator layer）替换晚期阶段层，从而构建与目标LLM共享嵌入空间的小型代理模型。例如，针对Llama-70B，在第40层插入翻译器，构建37B参数的代理模型T(40, 78)。
- 视觉编码器训练：在代理模型上分两阶段训练视觉编码器（例如CLIP-L/14），第一阶段同时训练视觉适配器和翻译器，第二阶段微调编码器。
- 零样本嫁接：将训练好的视觉编码器直接插入目标LLM，无需额外训练，利用共享的嵌入空间触发视觉理解能力。
批判性思考：虽然方法在理论上通过保留早期层来维持嵌入空间一致性，但构建代理模型的过程依赖于手动识别转换点，可能对不同模型家族的适应性有限。此外，翻译器层的引入虽然简化了晚期阶段，但可能丢失了目标LLM的部分复杂推理能力，导致代理模型在某些任务上的表现不足。
Experiment
实验主要围绕Llama-3B、8B和70B模型展开，验证代理模型的有效性和零样本嫁接能力：
- 数据集与设置：使用LLaVA-1.5-665K视觉语言指令和GenQA-500K文本指令进行训练，评估在多个VLM基准（如MME、POPE、SEED-Bench）和文本基准（如MMLU、HellaSwag）上的表现。实验分为三阶段：第一阶段训练适配器和翻译器，第二阶段微调编码器，第三阶段可选地微调全尺寸解码器。
- 结果分析：对于Llama-70B，37B代理模型T(40, 78)训练的编码器在零样本嫁接后，在多个VLM基准上表现优于全尺寸解码器训练（如MMVet从27.0%提升至37.4%），显示出较强的视觉理解能力。训练成本方面，使用代理模型训练编码器后，仅需20%数据即可使全尺寸解码器达到接近100%数据的基线性能，总训练时间降低约45%（从34.79小时降至19.17小时）。
- 实验设计合理性：实验设置较为全面，涵盖了不同规模的模型和多种基准测试，且提供了定性结果（如图像描述）以支持定量数据。然而，成本降低的结论基于特定数据比例（20%），可能存在选择性报告，未充分探讨不同数据比例下的稳定性。此外，代理模型对较小LLM（如Llama-3B）的适用性较差，表现为短回答任务的性能下降，显示出方法在通用性上的局限。
- 批判性思考：实验结果虽然显示出一定的改进，但部分基准（如VisWiz）表现不佳，且未充分对比其他成本降低方法（如LoRA）的长期效果。实验中使用的训练数据规模较小（LLaVA-1.5-665K），可能限制了模型在更大规模数据上的表现验证。
Further Thoughts
本研究的代理模型构建方法提供了一个有趣的视角，即通过分析LLM的预测轨迹来识别关键层并简化模型结构，这可能启发其他领域的模型压缩或迁移学习研究。然而，我认为其方法在通用性上存在潜在问题：不同LLM家族（如Qwen）的转换点位置差异较大，可能导致代理模型规模仍然过大（如Qwen2.5-72B的代理模型达56B），从而削弱成本优势。未来研究可以探索自动化识别转换点的方法，或结合知识蒸馏进一步压缩代理模型。此外，论文中提到的早期阶段层对常识推理和语言能力的存储作用（见附录A.14）可能与神经网络的可解释性研究相关联，值得进一步挖掘，例如是否可以通过早期层的特征提取能力来增强模型在特定任务上的表现，或用于构建更轻量级的任务专用模型。