Tag: Large Language Model
All the articles with the tag "Large Language Model".
-
Parallel Scaling Law for Language Models
Published: at 11:28 AM
89.78 🤔本文提出并行扩展（PARSCALE）方法，通过增加训练和推理时的并行计算流（P）来提升语言模型能力，理论和实验表明P流相当于参数扩展O(log P)，并在低资源场景下展现出更高的推理效率。
-
RAISE: Reinforced Adaptive Instruction Selection For Large Language Models
Published: at 11:28 AM 85.33 🤔本文提出 RAISE 框架，通过强化学习驱动的动态指令选择方法，根据指令对模型性能的预期影响自适应选择训练数据，仅用 1% 训练步骤即可超越全数据训练效果，并在多个基准测试中显著优于静态选择基线。
-
ShiQ: Bringing back Bellman to LLMs
Published: at 11:23 AM 89.77 🤔本文提出ShiQ算法，通过从Bellman一致性方程出发设计适应LLM特性的损失函数，支持离线、token级的强化学习微调，并在单轮和多轮任务中表现出优于DPO和CoPG的奖励优化能力。
-
Unraveling LoRA Interference: Orthogonal Subspaces for Robust Model Merging
Published: at 11:40 AM 89.76 🤔本文提出OSRM方法，通过在微调前约束LoRA子空间以减少任务间干扰，显著提升了多个语言模型在八个GLUE数据集上的合并性能，同时保持单任务准确性。
-
More is not always better? Enhancing Many-Shot In-Context Learning with Differentiated and Reweighting Objectives
Published: at 01:15 PM 87.51 🤔本文提出DrICL方法，通过差异化学习和基于优势的重新加权优化大型语言模型在many-shot上下文学习中的性能，并在自建的ICL-50数据集上验证了其在多种任务中的稳定性和有效性。