Tag: Few-Shot Learning

All the articles with the tag "Few-Shot Learning".

• Which Attention Heads Matter for In-Context Learning?

  Published: 5 May, 2025 |  at  11:15 PM

  

  90.67 👍

  本文通过对12个大型语言模型进行消融研究和训练动态分析，发现函数向量头是驱动少样本上下文学习的主要机制，尤其在大型模型中，并且许多函数向量头在训练过程中从归纳头演变而来，纠正了先前认为归纳头是主要驱动力的观点。