Tag: Data Augmentation
All the articles with the tag "Data Augmentation".
-
AutoL2S: Auto Long-Short Reasoning for Efficient Large Language Models
Published: at 11:25 AM
85.93 🤔本文提出 AutoL2S 框架，通过标注长短推理路径和 <EASY> 标记训练 LLMs，使其根据问题复杂性动态选择推理长度，实验显示推理长度压缩高达57%，性能基本保持。
-
100 Days After DeepSeek-R1: A Survey on Replication Studies and More Directions for Reasoning Language Models
Published: at 08:42 AM 85.65 🤔本文综述了DeepSeek-R1发布后100天内推理语言模型的复制研究，系统总结了监督微调和基于可验证奖励的强化学习方法在数据构建和算法设计上的进展，并探讨了推理能力提升的多方向应用。
-
The Quest for Efficient Reasoning: A Data-Centric Benchmark to CoT Distillation
Published: at 11:18 AM 85.11 🤔本文提出DC-CoT基准，通过系统评估数据增强、选择和混合策略在链式思维（CoT）蒸馏中的效果，揭示数据增强（如反向思维）对小型学生模型推理能力提升的显著作用，并为高效推理模型开发提供了实践指导。
-
Data Whisperer: Efficient Data Selection for Task-Specific LLM Fine-Tuning via Few-Shot In-Context Learning
Published: at 11:22 AM 85.04 🤔Data Whisperer 提出了一种高效、无需训练的基于注意力机制的数据选择方法，通过少样本上下文学习为任务特定的大型语言模型微调选择最优数据子集，在小数据场景下显著提升性能并大幅降低计算成本。
-
Toward Understanding In-context vs. In-weight Learning
Published: at 12:16 AM 82.20 🤔本文通过一个简化的理论模型和多场景实验，揭示了数据分布特性如何驱动上下文学习（ICL）和权重学习（IWL）的出现与竞争，并解释了ICL在训练过程中可能短暂的原因。