Tag: Large Language Model
All the articles with the tag "Large Language Model".
-
Context-Free Synthetic Data Mitigates Forgetting
Published: at 11:15 AM
86.17 🤔本文提出了一种上下文无关合成数据（CFS）方法，通过生成无条件样本并结合微调和预训练损失，缓解大型语言模型在数据不可知场景下的灾难性遗忘，实验在Olmo-1B和R1-Distill-Llama-8B模型上验证了其有效性。
-
LoRA-One: One-Step Full Gradient Could Suffice for Fine-Tuning Large Language Models, Provably and Efficiently
Published: at 01:14 PM 86.16 🤔本文通过理论分析揭示LoRA适配器与一步全微调梯度子空间的对齐特性，提出LoRA-One算法，利用谱初始化策略显著提升大型语言模型在自然语言理解、数学推理和代码生成任务上的微调性能，同时保持计算效率。
-
Thinking Fast and Right: Balancing Accuracy and Reasoning Length with Adaptive Rewards
Published: at 11:25 AM 86.15 🤔本文提出自适应直接长度惩罚（A-DLP）方法，通过动态调整强化学习中的长度惩罚系数，在减少大型语言模型推理长度超过 50% 的同时保持准确性，为构建高效推理模型提供了新方向。
-
EfficientQAT: Efficient Quantization-Aware Training for Large Language Models
Published: at 11:15 AM 86.14 🤔EfficientQAT提出了一种高效的量化感知训练框架，通过块级全参数训练（Block-AP）和端到端量化参数训练（E2E-QP），在低比特场景下显著提升大型语言模型的量化性能，同时大幅降低训练资源需求。
-
Graceful Forgetting in Generative Language Models
Published: at 11:20 AM 86.10 🤔本文提出Learning With Forgetting (LWF)框架，通过自生成知识、Fisher信息矩阵加权的遗忘置信度计算和周期性遗忘策略，在生成式语言模型的微调中实现优雅遗忘，实验表明其在大多数领域特定问答任务上显著提升性能。