Tag: Large Language Model
All the articles with the tag "Large Language Model".
-
How does Transformer Learn Implicit Reasoning?
Published: at 11:22 AM
85.05 🤔本文通过在受控符号环境中从头训练Transformer模型，揭示了隐式多跳推理的三阶段发展轨迹，并利用跨查询语义补丁和余弦表示透镜工具，阐明了推理能力与隐藏空间聚类的关联，为模型可解释性提供了新见解。
-
EfficientLLM: Efficiency in Large Language Models
Published: at 11:12 AM 85.05 🤔EfficientLLM通过大规模实证基准测试，系统评估了大型语言模型在架构预训练、微调和推理阶段的效率优化技术，揭示了资源权衡和任务依赖性，为从业者提供了基于数据的模型和技术选择指导。
-
Unveiling the Mechanisms of Explicit CoT Training: How CoT Enhances Reasoning Generalization
Published: at 11:21 PM 85.04 🤔本文通过控制实验、内部机制分析和理论推导，揭示了显式思维链（CoT）训练通过形成二阶段泛化电路显著提升大型语言模型的分布内（ID）和分布外（OOD）推理泛化能力，并验证了其在噪声数据下的鲁棒性。
-
Data Whisperer: Efficient Data Selection for Task-Specific LLM Fine-Tuning via Few-Shot In-Context Learning
Published: at 11:22 AM 85.04 🤔Data Whisperer 提出了一种高效、无需训练的基于注意力机制的数据选择方法，通过少样本上下文学习为任务特定的大型语言模型微调选择最优数据子集，在小数据场景下显著提升性能并大幅降低计算成本。
-
Concise Reasoning, Big Gains: Pruning Long Reasoning Trace with Difficulty-Aware Prompting
Published: at 11:20 AM 85.03 🤔本文提出难度感知提示（DAP）方法，通过动态调整推理轨迹长度构建精简的LiteCoT数据集（100K样本，平均720token），训练的Liter模型在多个推理基准上显著优于传统长CoT方法，同时大幅降低训练和推理成本。