Tag: In-Context Learning
All the articles with the tag "In-Context Learning".
-
Large Language Models are Miscalibrated In-Context Learners
Published: at 11:24 AM
88.84 🤔本文通过对大型语言模型在低资源场景下的校准问题进行深入分析，揭示上下文学习（ICL）未一致改善校准效果，并提出自集成方法显著提升校准性能（平均降低ECE 43%），同时维持或略提升任务性能。
-
Internal Chain-of-Thought: Empirical Evidence for Layer-wise Subtask Scheduling in LLMs
Published: at 11:09 AM 88.75 🤔本文通过层级上下文掩码和跨任务补丁方法，验证了大型语言模型内部存在‘内部思维链’，即在不同网络深度学习并按序执行复合任务的子任务，从而提升了模型透明度并为指令级行为控制开辟了新路径。
-
From Compression to Expansion: A Layerwise Analysis of In-Context Learning
Published: at 11:15 AM 88.68 🤔本文通过统计几何分析揭示了大型语言模型在上下文学习中的层级压缩-扩展现象，早期层压缩任务信息，后期层扩展生成预测，并探讨了模型大小、演示数量和噪声对性能的影响。
-
Llama See, Llama Do: A Mechanistic Perspective on Contextual Entrainment and Distraction in LLMs
Published: at 11:17 PM 88.54 🤔本文提出上下文牵引（Contextual Entrainment）现象，揭示语言模型对提示中出现token的机制性偏好，并通过可微分掩码方法识别牵引头（entrainment heads），为理解和缓解分心问题提供了新视角。
-
More is not always better? Enhancing Many-Shot In-Context Learning with Differentiated and Reweighting Objectives
Published: at 01:15 PM 87.51 🤔本文提出DrICL方法，通过差异化学习和基于优势的重新加权优化大型语言模型在many-shot上下文学习中的性能，并在自建的ICL-50数据集上验证了其在多种任务中的稳定性和有效性。