Tag: Recurrent Structures

All the articles with the tag "Recurrent Structures".

• Intra-Layer Recurrence in Transformers for Language Modeling

  Published: 7 May, 2025 |  at  12:12 AM

  

  69.79 🤔

  本文提出Intra-Layer Recurrence (ILR)方法，通过在Transformer单次前向传播中选择性循环特定层（尤其是早期层），在不增加参数量的情况下改善语言建模困惑度，但计算成本增加和大规模模型验证不足限制了其实用性。