本文提出了一种’Ensemble’提示框架，通过描述上下文示例选择标准提升大型语言模型在上下文学习中的性能，实验表明模型对提示格式的敏感性远高于描述内容本身，尤其在小型模型上效果显著。
Large Language Model, In-Context Learning, Prompt Engineering, Translation, Reasoning
Chenming Tang, Zhixiang Wang, Hao Sun, Yunfang Wu
National Key Laboratory for Multimedia Information Processing, Peking University, MOE Key Laboratory of Computational Linguistics, Peking University, School of Computer Science, Peking University
Generated by grok-3
Background Problem
大型语言模型（LLMs）通过上下文学习（ICL）在多种自然语言处理任务中表现出色，但描述性指令在ICL中的作用尚未被充分探索。本研究关注于在ICL中，是否通过描述上下文示例的选择标准（例如基于词汇或句法相似性）能够提升模型性能，进而探讨LLMs是否真正理解描述内容，还是仅仅对提示格式敏感。
Method
本文提出了一种新的’Ensemble’提示框架，核心思想是通过在提示中加入示例级别的描述，告知模型上下文示例的选择依据。具体步骤如下：
- 示例选择：在机器翻译（MT）任务中，基于词汇相似性（使用BM25算法）和句法相似性（使用多项式算法）分别选择上下文示例，通常每个类型各占一半（例如4个示例中2个基于词汇，2个基于句法）。
- 提示设计：在’Ensemble’框架中，为每组示例添加描述性指令，例如’以下是基于相似词汇选择的示例’和’以下是基于相似句法选择的示例’，并对比常规无描述的’Vanilla’提示。
- 变体测试：设计多种提示变体，包括描述与示例选择不匹配、描述使用随机名词甚至完全无意义内容，以测试模型是否关注描述内容。
- 扩展应用：将该框架应用于常识问答、逻辑推理、数学推理和幻觉检测任务，测试其普适性。 批判性思考：该方法虽然简单，但在理论上缺乏对为何格式比内容更重要的深入解释。随机名词描述也能提升性能的发现令人惊讶，但论文未充分探讨这是否意味着模型完全忽略描述内容，或是否仅对某些结构化提示有反应。此外，示例选择方法的组合方式较为机械，未优化不同任务的需求。
Experiment
实验分为两大部分：
- 机器翻译（MT）任务：在FLORES-101数据集上测试6个翻译方向（涉及英语与德语、法语、俄语），使用Europarl和ParaCrawl作为示例数据库。模型包括XGLM7.5B和Alpaca 7B，评估指标为COMET分数。结果显示，‘Ensemble’提示框架在大多数情况下比’Vanilla’提示提升性能，即使描述内容与示例选择不匹配或使用随机名词（如’Ensemble (Random + Random)’）。消融研究表明，移除描述或简化格式会降低性能增益，表明格式本身至关重要。注意力权重分析进一步显示，模型对有意义描述和随机描述的关注度差异不大。
- 其他任务：在9个数据集（涵盖常识问答、逻辑推理、数学推理和幻觉检测）上测试，使用Alpaca、Llama3、Mistral（均为7B参数）和GPT-3.5模型，评估指标为准确率。结果表明，在小型模型上，‘Ensemble (Random + Random)‘显著优于或等同于’Vanilla’提示，尤其结合链式思维（CoT）时效果更佳；但在GPT-3.5上改进不明显。 批判性思考：实验设置较为全面，覆盖多种任务和模型，但存在以下问题：1）MT任务中示例选择方法（BM25+Polynomial）的组合未充分优化，且未与其他先进方法对比，难以判断提升是否显著；2）其他任务仅使用随机示例选择，未测试精心设计的示例选择是否会改变结论；3）对大型模型如GPT-3.5的测试结果未显示显著改进，表明框架可能对强大模型的适用性有限；4）注意力权重分析较为表面，未深入探讨模型内部机制。总体而言，实验结果支持了格式优于内容的结论，但未能完全解释原因，且普适性存疑。
Further Thoughts
本文提出的’Ensemble’提示框架提供了一个有趣的视角，即提示格式可能比内容更关键，这与近年来关于提示工程（Prompt Engineering）的研究趋势相呼应，例如链式思维（CoT）和结构化提示对模型性能的影响。然而，这一发现也引发了更深层次的问题：是否所有结构化提示都能带来类似改进，还是存在某种特定的格式模式（如分层描述）对模型的上下文理解有特殊作用？此外，论文未探讨的另一个方向是，这种格式敏感性是否与模型的预训练数据分布有关，例如模型是否在训练中对某些提示结构有偏好？与其他领域的研究联系起来，可以考虑将这一框架与强化学习从人类反馈（RLHF）结合，测试是否通过调整提示格式可以进一步优化模型的指令跟随能力。最后，考虑到大型模型如GPT-3.5未显示显著改进，未来研究应聚焦于模型规模与提示格式效果之间的关系，或许可以通过分析模型的注意力机制或中间层表示，揭示格式影响性能的深层原因。