本文通过理论分析和实验验证，揭示了小参数初始化规模如何通过影响嵌入空间和训练动态，促使大型语言模型更倾向于推理任务而非记忆任务。
Large Language Model, Reasoning, Embeddings, Transformer, Pre-training
Junjie Yao, Zhongwang Zhang, Zhi-Qin John Xu
Shanghai Jiao Tong University, Institute of Natural Sciences, Center for LLM, Institute for Advanced Algorithms Research, Shanghai Seres Information Technology Co., Ltd
Generated by grok-3
Background Problem
大型语言模型（LLMs）在自然语言处理（NLP）领域取得了显著成功，特别是在文本生成和复杂推理任务中表现出色。然而，关于LLMs是否真正学习了逻辑规则还是仅仅模仿数据模式，仍存在争议。本研究从模型训练过程和架构的角度出发，探讨参数初始化规模对LLMs训练行为和任务偏好的影响，重点解决如何通过初始化策略优化模型在推理任务上的表现这一关键问题。研究发现，小初始化规模（γ > 0.5）会促使模型更倾向于推理任务，而大初始化规模则偏向记忆任务，这一现象背后的机制尚不完全清晰。
Method
本研究提出了一种分析框架，结合理论分析和实验验证，探索参数初始化规模对LLMs任务偏好的影响：
- 核心思想：小初始化规模通过影响嵌入空间和自注意力机制的训练动态，促使模型更倾向于学习推理规则而非记忆映射。
- 具体步骤：
- 合成任务设计：使用锚点函数（anchor functions）构建包含推理和记忆任务的合成数据集，推理任务基于加法规则，记忆任务基于随机映射。
- 模型架构：采用Transformer架构（如GPT-2）和简化模型（Emb-MLP），分析嵌入空间和自注意力模块在不同初始化规模下的行为。
- 初始化策略：参数初始化遵循正态分布，初始化率γ控制规模大小，γ > 0.5被认为是小初始化。
- 理论分析：通过梯度流分析和标签分布假设，解释小初始化规模下推理锚点的嵌入向量为何更易区分，从而促进推理学习。
- 关键问题与批判：虽然方法设计逻辑清晰，但理论分析依赖于简化假设（如标签分布对嵌入空间的影响），可能无法完全适用于复杂的真实语言任务。此外，合成任务的设计过于理想化，可能无法反映真实数据的多样性和噪声特性。
Experiment
实验设计涵盖合成数据和真实数据集，旨在验证初始化规模对推理偏好的影响：
- 数据集：合成数据集基于锚点函数，包含推理和记忆任务；真实数据集包括PrOntoQA（推理任务）和TinyStories（记忆任务）。
- 实验设置：使用Transformer模型（2层，单注意力头）和Emb-MLP模型，测试不同初始化规模（γ = 0.3, 0.5, 0.8）下的训练损失和预测准确率。设置合理，试图通过控制变量隔离初始化规模的影响。
- 结果：小初始化规模（γ = 0.8）下，推理任务的损失下降更快，嵌入空间中推理锚点的区分度更高；大初始化规模（γ = 0.3）下，模型更倾向于记忆任务。结果与预期一致，表明初始化规模确实影响任务偏好。
- 评价与批判：实验结果在合成数据上较为明显，但在真实数据集上的差异（如∆L指标）相对较小，可能表明效应在复杂任务中的实际影响有限。此外，实验未充分探讨初始化规模与其他超参数（如学习率）的交互作用，可能导致结论的片面性。实验设置虽合理，但缺乏对模型规模和数据集多样性的扩展测试，限制了结果的普适性。
Further Thoughts
本文提出的初始化规模对推理偏好的影响提供了一个有趣的视角，但其实际应用价值值得进一步探讨。例如，在实际训练大型语言模型时，初始化规模的选择往往需要平衡训练稳定性和收敛速度，小初始化规模可能导致梯度消失或训练不稳定等问题，这在论文中未被充分讨论。此外，嵌入空间的区分度与推理能力之间的因果关系仍需更多证据支持，未来的研究可以结合神经科学中的表示学习理论，探索推理能力是否真正源于嵌入空间的结构，而非仅仅是训练数据的特性。另一个值得思考的方向是初始化策略与其他训练技术（如数据选择、指令微调）的结合，例如是否可以通过动态调整初始化规模或结合特定的数据分布，进一步增强模型的推理能力。这些问题若能解决，将大大提升本文理论框架的实际意义。