Tag: In-Context Learning

All the articles with the tag "In-Context Learning".

• The dynamic interplay between in-context and in-weight learning in humans and neural networks

  Published: 6 May, 2025 |  at  11:20 PM

  

  70.07 🤔

  本文通过神经网络中上下文学习（ICL）与权重学习（IWL）的动态交互，统一解释了人类学习中的组合性泛化、课程效应及灵活性与保留性权衡，为认知科学双过程理论提供了新视角。

• Prompt-Based Cost-Effective Evaluation and Operation of ChatGPT as a Computer Programming Teaching Assistant

  Published: 4 May, 2025 |  at  04:26 PM

  

  66.50 🤔

  本文通过设计基于ICL和CoT的提示模板，实现了ChatGPT在编程教育中的成本效益评估和操作，显著降低了手动评估需求并提升了反馈的结构化分析。

• Exploring the Role of Diversity in Example Selection for In-Context Learning

  Published: 7 May, 2025 |  at  09:33 AM

  

  64.87 🤔

  本文提出基于多样性的上下文学习（DICL）方法，通过最大边际相关性（MMR）算法重新排序示例以平衡相关性和多样性，在多个数据集和大型语言模型上实现了约70%的下游任务性能提升或维持。

• Which Attention Heads Matter for In-Context Learning?

  Published: 5 May, 2025 |  at  11:15 PM

  

  90.67 👍

  本文通过对12个大型语言模型进行消融研究和训练动态分析，发现函数向量头是驱动少样本上下文学习的主要机制，尤其在大型模型中，并且许多函数向量头在训练过程中从归纳头演变而来，纠正了先前认为归纳头是主要驱动力的观点。

• LIFT: Improving Long Context Understanding of Large Language Models through Long Input Fine-Tuning

  Published: 4 May, 2025 |  at  04:27 PM

  

  82.62 👍

  本文提出LIFT框架，通过长输入微调和Gated Memory适配器提升短上下文LLMs的长上下文理解能力，实验显示显著性能改进。