Tag: In-Context Learning
All the articles with the tag "In-Context Learning".
-
Exploring the Role of Diversity in Example Selection for In-Context Learning
Published: at 09:33 AM
64.87 🤔本文提出基于多样性的上下文学习（DICL）方法，通过最大边际相关性（MMR）算法重新排序示例以平衡相关性和多样性，在多个数据集和大型语言模型上实现了约70%的下游任务性能提升或维持。
-
Which Attention Heads Matter for In-Context Learning?
Published: at 11:15 PM 90.67 👍本文通过对12个大型语言模型进行消融研究和训练动态分析，发现函数向量头是驱动少样本上下文学习的主要机制，尤其在大型模型中，并且许多函数向量头在训练过程中从归纳头演变而来，纠正了先前认为归纳头是主要驱动力的观点。
-
LIFT: Improving Long Context Understanding of Large Language Models through Long Input Fine-Tuning
Published: at 04:27 PM 82.62 👍本文提出LIFT框架，通过长输入微调和Gated Memory适配器提升短上下文LLMs的长上下文理解能力，实验显示显著性能改进。
-
Self-Generated In-Context Examples Improve LLM Agents for Sequential Decision-Making Tasks
Published: at 11:15 PM 82.23 👍本文提出LLM代理可以通过自动收集和选择自身在序列决策任务中的成功轨迹作为上下文示例，显著提升性能，减少对人工知识工程的依赖。
-
Codenames as a Benchmark for Large Language Models
Published: at 04:27 PM 77.18 👍本论文提出使用Codenames游戏作为LLMs推理能力的基准，通过实验评估不同LLMs在语言理解、战略推理和合作方面的表现，展示了它们的独特行为和泛化潜力。