Tag: Fine-tuning

All the articles with the tag "Fine-tuning".

• MegaScale-Infer: Serving Mixture-of-Experts at Scale with Disaggregated Expert Parallelism

  Published: 4 May, 2025 |  at  04:30 PM

  

  70.65 🤔

  本文提出MegaScale-Infer系统，通过分离注意力模块和FFN模块的并行策略以及高效M2N通信库，优化大规模MoE模型的推理效率，实现高达1.90倍的吞吐量提升。

• When2Call: When (not) to Call Tools

  Published: 6 May, 2025 |  at  11:16 PM

  

  66.07 🤔

  本文提出When2Call基准，通过多选格式评估语言模型在工具调用决策上的表现，并通过偏好优化（RPO）训练方法显著提升模型在何时调用工具及何时保守行为之间的平衡能力。

• Small or Large? Zero-Shot or Finetuned? Guiding Language Model Choice for Specialized Applications in Healthcare

  Published: 4 May, 2025 |  at  04:31 PM

  

  67.24 🤔

  本文通过实证实验指导在医疗专业应用中语言模型的选择，强调微调小语言模型和领域特定预训练的显著优势，使其在特定任务上超越零-shot 大语言模型。

• X-Fusion: Introducing New Modality to Frozen Large Language Models

  Published: 4 May, 2025 |  at  04:31 PM

  

  66.52 🤔

  本文提出X-Fusion框架，通過凍結LLM參數並添加雙塔結構，高效實現多模態理解和生成，同時保留原始語言能力。

• Less is More: Towards Green Code Large Language Models via Unified Structural Pruning

  Published: 4 May, 2025 |  at  04:27 PM

  

  66.29 🤔

  本文提出Flab-Pruner，一种结合词汇、层和FFN剪枝的统一结构剪枝方法，通过KL散度优化和自定义微调策略，在减少代码LLM参数的同时保持高性能和效率。