Tag: Large Language Model
All the articles with the tag "Large Language Model".
-
How Much Backtracking is Enough? Exploring the Interplay of SFT and RL in Enhancing LLM Reasoning
Published: at 11:29 AM
87.38 🤔本文通过控制实验研究SFT和RL在增强LLM推理能力中的相互作用，发现短CoT预热对RL有中等贡献，回溯次数需与任务难度匹配，且RL对SFT数据正确性依赖较小而对结构一致性敏感。
-
Emergence and Effectiveness of Task Vectors in In-Context Learning: An Encoder Decoder Perspective
Published: at 11:25 AM 85.01 🤔本文通过编码-解码框架研究任务向量在上下文学习中的浮现与有效性，提出任务可解码性（TD）指标预测ICL性能，并发现微调早期层比后期层更能提升任务编码和性能。
-
Two Is Better Than One: Rotations Scale LoRAs
Published: at 11:30 AM 87.12 🤔本文提出 *RadarGate*，一种基于几何的门控方法，通过旋转和拉伸操作增强 LoRA-MoE 的表达能力，在拟合、泛化和可扩展性方面显著优于现有方法，实验结果在 6 个基准数据集的 21 个任务上得到验证。
-
Task Specific Pruning with LLM-Sieve: How Many Parameters Does Your Task Really Need?
Published: at 11:33 AM 89.05 🤔LLM-Sieve提出了一种任务特定的剪枝框架，通过联合低秩投影和遗传算法实现差异化剪枝，在保持1-5%精度损失下减少20-75%的参数，显著优于现有方法，并与LoRA微调和量化兼容。
-
Hybrid Latent Reasoning via Reinforcement Learning
Published: at 11:43 AM 86.71 🤔本文提出HRPO，一种基于强化学习的混合潜在推理框架，通过门控机制结合离散token和连续隐状态，显著提升了大型语言模型在知识和推理任务上的性能，同时减少了对链式思维数据的依赖。