Tag: Large Language Model
All the articles with the tag "Large Language Model".
-
QKV Projections Require a Fraction of Their Memory
Published: at 11:22 AM
89.22 🤔本文提出PAMM方法，通过随机选择代表性token近似输入张量，大幅减少注意力机制中Q、K、V投影的内存占用（高达512倍），同时在预训练和微调中基本维持模型性能。
-
Model Merging in Pre-training of Large Language Models
Published: at 11:14 AM 89.09 🤔本文提出预训练模型平均（PMA）策略，通过融合预训练阶段的检查点显著提升大型语言模型性能、预测退火效果并增强训练稳定性，为高效模型开发提供了新方法和实用指南。
-
SLearnLLM: A Self-Learning Framework for Efficient Domain-Specific Adaptation of Large Language Models
Published: at 11:24 AM 89.09 🤔SLearnLLM提出了一种自学习框架，通过让大语言模型自我评估并筛选错误回答的QA对进行微调，在农业和医疗领域实现了与全数据集微调相当的性能提升，同时显著降低了训练时间成本。
-
RL in Name Only? Analyzing the Structural Assumptions in RL post-training for LLMs
Published: at 11:16 AM 89.06 🤔本文通过理论和实验分析，揭示了当前RL（如GRPO）在LLM后训练中的MDP结构假设使其退化为过滤迭代监督微调，并指出响应长度增加源于奖励分配偏差，而非推理能力提升。
-
Self-Data Distillation for Recovering Quality in Pruned Large Language Models
Published: at 11:19 PM 89.06 🤔本文提出自数据蒸馏微调方法，通过利用未剪枝模型生成蒸馏数据集恢复剪枝后大型语言模型的质量，在HuggingFace OpenLLM Leaderboard v1上显著优于标准监督微调，并通过模型合并和推测解码进一步提升性能和效率。