Tag: In-Context Learning
All the articles with the tag "In-Context Learning".
-
What do Language Model Probabilities Represent? From Distribution Estimation to Response Prediction
Published: at 08:42 AM
83.92 🤔本文通过理论分析区分了语言模型输出概率的三种解释（完成分布、响应分布、事件分布），揭示了现有研究中对这些分布的混淆和误解，并呼吁谨慎解释模型概率以指导LLM的开发和应用。
-
Toward Understanding In-context vs. In-weight Learning
Published: at 12:16 AM 82.20 🤔本文通过一个简化的理论模型和多场景实验，揭示了数据分布特性如何驱动上下文学习（ICL）和权重学习（IWL）的出现与竞争，并解释了ICL在训练过程中可能短暂的原因。
-
On the generalization of language models from in-context learning and finetuning: a controlled study
Published: at 04:33 PM 82.00 🤔本文通过控制实验比较了语言模型在上下文学习和微调下的泛化能力，发现上下文学习更灵活，并提出通过数据增强方法显著改善微调的泛化性能。
-
AdaptMI: Adaptive Skill-based In-context Math Instruction for Small Language Models
Published: at 04:32 PM 80.86 🤔本文提出AdaptMI和AdaptMI+自适应方法，通过基于奖励模型检测问题难度并针对困难问题选择技能-based in-context示例，提高小语言模型在数学推理任务中的性能，同时避免认知过载。
-
Beyond the Last Answer: Your Reasoning Trace Uncovers More than You Think
Published: at 12:12 AM 76.38 🤔本文提出了一种通过分割大型语言模型推理轨迹为子思维并从中间状态生成多条推理路径、最终以众数聚合答案的方法，显著提高了数学推理任务的准确性（最高提升13%），并揭示了答案一致性与正确性的相关性。