Tag: Efficiency

All the articles with the tag "Efficiency".

• AM-Thinking-v1: Advancing the Frontier of Reasoning at 32B Scale

  Published: 17 May, 2025 |  at  11:20 PM

  

  87.46 🤔

  AM-Thinking-v1 是一个32B参数的密集语言模型，通过精心设计的监督微调和强化学习后训练框架，在数学推理和代码生成任务上实现了与大型MoE模型媲美的性能，展示了中型规模模型在推理能力与部署效率之间的平衡潜力。

• CoThink: Token-Efficient Reasoning via Instruct Models Guiding Reasoning Models

  Published: 31 May, 2025 |  at  11:15 AM

  

  87.39 🤔

  CoThink 提出了一种双阶段推理框架，通过指令模型生成解决方案大纲指导推理模型完成解答，在保持准确率的同时平均减少 22.3% 的令牌生成量，提升了大型语言模型的推理效率。

• Towards Complementary Knowledge Distillation for Efficient Dense Image Prediction

  Published: 16 May, 2025 |  at  11:29 AM

  

  87.37 🤔

  This paper introduces a Boundary and Context Distillation (BCD) method for efficient dense image prediction, enhancing compact models' boundary completeness and region connectivity through targeted knowledge transfer, achieving superior accuracy across multiple tasks and datasets without inference cost increase.

• RaaS: Reasoning-Aware Attention Sparsity for Efficient LLM Reasoning

  Published: 4 Jun, 2025 |  at  11:26 AM

  

  87.36 🤔

  本文提出 RaaS 算法，通过识别推理任务中的里程碑令牌并采用 LRU 缓存策略管理 KV 向量，在保持高准确性的同时实现了 O(L) 的时间和内存复杂度，显著优于现有方法如 Quest 的内存效率。

• Initialization using Update Approximation is a Silver Bullet for Extremely Efficient Low-Rank Fine-Tuning

  Published: 2 Jun, 2025 |  at  01:15 PM

  

  87.30 🤔

  本文提出LoRA-SB方法，通过基于全参数微调第一步梯度近似的初始化策略优化低秩微调，在参数量减少27-90倍的情况下，显著超越LoRA-XS并接近全参数微调性能。