Tag: Fine-tuning
All the articles with the tag "Fine-tuning".
-
Learning Composable Chains-of-Thought
Published: at 11:12 AM
90.13 🤔本文提出Composable Chain-of-Thought方法，通过数据增强改进原子任务CoT格式，并结合多任务学习或模型合并实现零样本组合推理，使用拒绝采样微调进一步提升性能，在字符串操作和自然语言任务上优于标准CoT基准。
-
Next Token Perception Score: Analytical Assessment of your LLM Perception Skills
Published: at 11:53 AM 85.57 🤔本文提出Next Token Perception Score (NTPS)，一个量化自回归预训练与下游感知任务特征子空间对齐程度的度量方法，通过理论证明和实验验证其与线性探针性能的相关性，并展示其预测LoRA微调增益的实用性。
-
RepCali: High Efficient Fine-tuning Via Representation Calibration in Latent Space for Pre-trained Language Models
Published: at 11:34 AM 86.31 🤔本文提出了一种名为RepCali的微调方法，通过在潜在空间中校准预训练语言模型编码器输出，显著提升了25个模型在8个下游任务上的性能，同时仅增加0-0.8%的参数。
-
Graceful Forgetting in Generative Language Models
Published: at 11:20 AM 86.10 🤔本文提出Learning With Forgetting (LWF)框架，通过自生成知识、Fisher信息矩阵加权的遗忘置信度计算和周期性遗忘策略，在生成式语言模型的微调中实现优雅遗忘，实验表明其在大多数领域特定问答任务上显著提升性能。
-
SORSA: Singular Values and Orthonormal Regularized Singular Vectors Adaptation of Large Language Models
Published: at 11:34 AM 85.98 🤔本文提出SORSA，一种基于奇异值分解和正交正则化的参数高效微调方法，通过优化权重矩阵条件数提升大型语言模型在下游任务上的性能，并在GSM-8K等基准测试中显著优于LoRA和PiSSA等方法。