Tag: Large Language Model
All the articles with the tag "Large Language Model".
-
Comparing Uncertainty Measurement and Mitigation Methods for Large Language Models: A Systematic Review
Published: at 04:31 PM
50.24 🤔本文通过系统综述和实证基准测试，比较了LLMs的不确定性量化与校准方法，揭示了这些方法的有效性、局限性，并为未来研究提供了关键洞见。
-
TTRL: Test-Time Reinforcement Learning
Published: at 04:30 PM 93.49 👍本文提出测试时强化学习（TTRL）方法，通过多数投票估计奖励，在无标签测试数据上训练大语言模型，实现模型自演化并显著提升推理任务性能。
-
Which Attention Heads Matter for In-Context Learning?
Published: at 11:15 PM 90.67 👍本文通过对12个大型语言模型进行消融研究和训练动态分析，发现函数向量头是驱动少样本上下文学习的主要机制，尤其在大型模型中，并且许多函数向量头在训练过程中从归纳头演变而来，纠正了先前认为归纳头是主要驱动力的观点。
-
Reinforcement Learning for LLM Reasoning Under Memory Constraints
Published: at 01:19 AM 90.32 👍本文提出了S-GRPO和T-SPMO两种内存高效、无批评者的强化学习方法，结合LoRA微调，在有限硬件资源下显著提升了大型语言模型在数学推理任务上的性能，其中T-SPMO在需要细粒度信用分配的任务上表现尤为突出。
-
Improving Reasoning Performance in Large Language Models via Representation Engineering
Published: at 11:15 PM 88.60 👍本文通过表示工程方法，利用控制向量干预大型语言模型的残差流，成功提升了Pythia和Mistral模型在归纳、演绎和数学推理任务上的表现，表明推理能力可通过调整内部表示进行调控。