Tag: Efficiency

All the articles with the tag "Efficiency".

• Paper2Code: Automating Code Generation from Scientific Papers in Machine Learning

  Published: 4 May, 2025 |  at  04:29 PM

  

  50.69 🤔

  本文提出PaperCoder框架，通过多代理LLM的多阶段管道自动从机器学习论文生成高质量代码仓库，提升了研究的可复现性，并在基准测试中显著优于现有方法。

• State Space Models are Strong Text Rerankers

  Published: 4 May, 2025 |  at  04:26 PM

  

  50.53 🤔

  本文通过全面benchmark比较状态空间模型如Mamba与Transformer在文本重排序任务中的性能和效率，发现Mamba模型可实现类似性能但效率较低，并强调了未来优化方向。

• Reinforcement Learning for LLM Reasoning Under Memory Constraints

  Published: 6 May, 2025 |  at  01:19 AM

  

  90.32 👍

  本文提出了S-GRPO和T-SPMO两种内存高效、无批评者的强化学习方法，结合LoRA微调，在有限硬件资源下显著提升了大型语言模型在数学推理任务上的性能，其中T-SPMO在需要细粒度信用分配的任务上表现尤为突出。

• Improving Reasoning Performance in Large Language Models via Representation Engineering

  Published: 6 May, 2025 |  at  11:15 PM

  

  88.60 👍

  本文通过表示工程方法，利用控制向量干预大型语言模型的残差流，成功提升了Pythia和Mistral模型在归纳、演绎和数学推理任务上的表现，表明推理能力可通过调整内部表示进行调控。

• RWKV-X: A Linear Complexity Hybrid Language Model

  Published: 4 May, 2025 |  at  04:32 PM

  

  87.80 👍

  本文提出RWKV-X，一种线性复杂度的混合语言模型，通过结合RWKV和稀疏注意力机制，提升长上下文建模能力，同时保持高效性和短上下文性能。