Tag: Pre-training
All the articles with the tag "Pre-training".
-
Scalable Complexity Control Facilitates Reasoning Ability of LLMs
Published: at 11:29 AM
85.16 🤔本文通过调整初始化率和权重衰减系数控制大语言模型复杂性，显著提升推理能力，尤其在数学任务上表现突出，并在扩展律上展现更优性能。
- Published: at 11:14 AM 85.14 🤔
本文提出Reasoning CPT方法，通过在持续预训练中加入合成隐藏思维数据，显著提升大型语言模型在跨领域推理、困难问题解决和推理效率方面的表现，特别是在MMLU基准上实现了最高3.3%的整体提升和困难问题上约8%的改进。
-
Concise Reasoning via Reinforcement Learning
Published: at 11:21 PM 85.10 🤔本文提出了一种两阶段强化学习训练策略，通过在极小数据集上分阶段优化推理能力和简洁性，显著减少大型语言模型的响应长度（最高54%），同时保持甚至提升准确性，并增强低采样强度下的鲁棒性。
-
Benchmarking Post-Training Quantization in LLMs: Comprehensive Taxonomy, Unified Evaluation, and Comparative Analysis
Published: at 11:51 AM 85.09 🤔本文通过提出 PTQ-Bench 基准测试框架，系统评估了大型语言模型后训练量化（PTQ）策略的跨位宽、跨结构和跨模态鲁棒性，发现旋转型和补偿型策略在低位量化中表现优异，并提出极低位量化需重新审视及补偿型策略结合其他方法可显著提升鲁棒性的关键见解。
-
EfficientLLM: Efficiency in Large Language Models
Published: at 11:12 AM 85.05 🤔EfficientLLM通过大规模实证基准测试，系统评估了大型语言模型在架构预训练、微调和推理阶段的效率优化技术，揭示了资源权衡和任务依赖性，为从业者提供了基于数据的模型和技术选择指导。