Tag: Large Language Model
All the articles with the tag "Large Language Model".
-
Temporal Sampling for Forgotten Reasoning in LLMs
Published: at 11:20 AM
92.01 🤔本文揭示了大型语言模型微调中的'Temporal Forgetting'现象，并提出'Temporal Sampling'方法，通过从多个训练检查点采样答案显著提升推理性能（Pass@k提升4-19个百分点），并通过LoRA适配降低存储成本。
-
RAISE: Reinforced Adaptive Instruction Selection For Large Language Models
Published: at 11:28 AM 85.33 🤔本文提出 RAISE 框架，通过强化学习驱动的动态指令选择方法，根据指令对模型性能的预期影响自适应选择训练数据，仅用 1% 训练步骤即可超越全数据训练效果，并在多个基准测试中显著优于静态选择基线。
-
Unraveling LoRA Interference: Orthogonal Subspaces for Robust Model Merging
Published: at 11:40 AM 89.76 🤔本文提出OSRM方法，通过在微调前约束LoRA子空间以减少任务间干扰，显著提升了多个语言模型在八个GLUE数据集上的合并性能，同时保持单任务准确性。
-
More is not always better? Enhancing Many-Shot In-Context Learning with Differentiated and Reweighting Objectives
Published: at 01:15 PM 87.51 🤔本文提出DrICL方法，通过差异化学习和基于优势的重新加权优化大型语言模型在many-shot上下文学习中的性能，并在自建的ICL-50数据集上验证了其在多种任务中的稳定性和有效性。
-
The Avengers: A Simple Recipe for Uniting Smaller Language Models to Challenge Proprietary Giants
Published: at 11:43 AM 85.27 🤔本文提出*Avengers*框架，通过无训练的嵌入、聚类、评分和投票操作，整合多个小型开源语言模型的集体智能，在15个多样化数据集上平均性能超越GPT-4.1，展现了开源模型挑战专有巨头的潜力。