Tag: Optimization Algorithms
All the articles with the tag "Optimization Algorithms".
-
Test-time regression: a unifying framework for designing sequence models with associative memory
本文提出一个基于测试时回归的统一框架,通过将关联回忆形式化为回归问题,推导出多种序列模型(如线性注意力、状态空间模型、softmax注意力),并通过合成实验验证其回归能力,同时提出高阶注意力泛化。