Tag: Large Language Model
All the articles with the tag "Large Language Model".
-
From Compression to Expansion: A Layerwise Analysis of In-Context Learning
Published: at 11:15 AM
88.68 🤔本文通过统计几何分析揭示了大型语言模型在上下文学习中的层级压缩-扩展现象，早期层压缩任务信息，后期层扩展生成预测，并探讨了模型大小、演示数量和噪声对性能的影响。
-
Advancing Multimodal Reasoning via Reinforcement Learning with Cold Start
Published: at 11:30 AM 86.44 🤔本文通过质疑‘aha moment’模式与推理能力提升的相关性，提出了一种结合监督微调（SFT）和强化学习（RL）的两阶段方法，在3B和7B规模的多模态大语言模型上显著提升了多模态推理性能，达到开源模型中的最优水平。
-
Parameter-Efficient Fine-Tuning with Column Space Projection
Published: at 11:16 AM 88.66 🤔本文提出PiCa，一种基于谱特性的参数高效微调方法，通过将梯度投影到预训练权重的低秩列子空间并结合权重共享，在显著减少参数量的同时实现了优于LoRA和SVFT的性能。
-
R1-Searcher++: Incentivizing the Dynamic Knowledge Acquisition of LLMs via Reinforcement Learning
Published: at 11:15 AM 88.65 🤔R1-Searcher++ 通过两阶段训练策略（SFT 和 RL），结合奖励机制和记忆模块，使大型语言模型自适应地平衡内部知识与外部检索，在多跳问答任务中显著提升准确性和检索效率。
-
LIFEBench: Evaluating Length Instruction Following in Large Language Models
Published: at 11:47 AM 88.64 🤔本文通过引入LIFEBENCH基准，系统评估了26个大型语言模型在长度指令遵循上的能力，发现其在长长度约束下普遍表现不佳，且远未达到厂商宣称的最大输出长度，揭示了模型在长度感知和长文本生成上的根本局限性。