Tag: Pre-training

All the articles with the tag "Pre-training".

• DeepSeek-Prover-V2: Advancing Formal Mathematical Reasoning via Reinforcement Learning for Subgoal Decomposition

  Published: 4 May, 2025 |  at  04:32 PM

  

  56.98 🤔

  本文提出DeepSeek-Prover-V2，通过子目标分解和强化学习统一非正式和正式数学推理，显著提升了神经定理证明的性能，在多个基准上达到最先进水平。

• Beyond Public Access in LLM Pre-Training Data

  Published: 4 May, 2025 |  at  04:32 PM

  

  53.67 🤔

  本文通過DE-COP成員推斷攻擊方法，使用O'Reilly書籍數據集證明OpenAI的GPT-4o可能訓練過非公共版權內容，突顯了LLM預訓練數據中非公共數據使用增加的趨勢及加強透明度和許可框架的必要性。

• State Space Models are Strong Text Rerankers

  Published: 4 May, 2025 |  at  04:26 PM

  

  50.53 🤔

  本文通过全面benchmark比较状态空间模型如Mamba与Transformer在文本重排序任务中的性能和效率，发现Mamba模型可实现类似性能但效率较低，并强调了未来优化方向。

• RWKV-X: A Linear Complexity Hybrid Language Model

  Published: 4 May, 2025 |  at  04:32 PM

  

  87.80 👍

  本文提出RWKV-X，一种线性复杂度的混合语言模型，通过结合RWKV和稀疏注意力机制，提升长上下文建模能力，同时保持高效性和短上下文性能。

• The Sparse Frontier: Sparse Attention Trade-offs in Transformer LLMs

  Published: 4 May, 2025 |  at  04:29 PM

  

  85.10 👍

  论文通过大规模实验分析了Transformer LLMs中稀疏注意力的效率-准确性权衡，揭示了长序列下更大稀疏模型的优势，并建立了可推广的缩放定律。