Tag: Fine-tuning

All the articles with the tag "Fine-tuning".

• Hierarchical Attention Generates Better Proofs

  Published: 6 May, 2025 |  at  11:16 PM

  

  69.57 🤔

  本文提出层次注意力正则化方法，通过引导大型语言模型的注意力机制与数学推理的五级层次结构对齐，在 miniF2F 和 ProofNet 基准上分别提升证明成功率 2.05% 和 1.69%，并显著降低证明复杂度。

• Small or Large? Zero-Shot or Finetuned? Guiding Language Model Choice for Specialized Applications in Healthcare

  Published: 4 May, 2025 |  at  04:31 PM

  

  67.24 🤔

  本文通过实证实验指导在医疗专业应用中语言模型的选择，强调微调小语言模型和领域特定预训练的显著优势，使其在特定任务上超越零-shot 大语言模型。

• X-Fusion: Introducing New Modality to Frozen Large Language Models

  Published: 4 May, 2025 |  at  04:31 PM

  

  66.52 🤔

  本文提出X-Fusion框架，通過凍結LLM參數並添加雙塔結構，高效實現多模態理解和生成，同時保留原始語言能力。

• Less is More: Towards Green Code Large Language Models via Unified Structural Pruning

  Published: 4 May, 2025 |  at  04:27 PM

  

  66.29 🤔

  本文提出Flab-Pruner，一种结合词汇、层和FFN剪枝的统一结构剪枝方法，通过KL散度优化和自定义微调策略，在减少代码LLM参数的同时保持高性能和效率。

• When2Call: When (not) to Call Tools

  Published: 6 May, 2025 |  at  11:16 PM

  

  66.07 🤔

  本文提出When2Call基准，通过多选格式评估语言模型在工具调用决策上的表现，并通过偏好优化（RPO）训练方法显著提升模型在何时调用工具及何时保守行为之间的平衡能力。