Tag: Representation Learning
All the articles with the tag "Representation Learning".
-
SELF: Self-Extend the Context Length With Logistic Growth Function
Published: at 11:52 AM
86.07 🤔本文提出SELF方法，通过逻辑增长函数动态调整token分组大小以扩展大型语言模型的上下文长度，在部分长上下文任务上相较Self-Extend提升了性能，但普适性和稳定性仍需验证。
-
Investigating Task Arithmetic for Zero-Shot Information Retrieval
Published: at 08:43 AM 86.02 🤔本文提出任务算术方法，通过参数加减操作实现零样本信息检索的领域和语言适应，在科学、生物医学和多语言数据集上取得最高18%的NDCG@10提升，展现了轻量级模型适应的潜力。
-
Pruning via Merging: Compressing LLMs via Manifold Alignment Based Layer Merging
Published: at 11:14 AM 85.94 🤔本文提出MKA方法，通过流形学习和信息瓶颈度量实现大语言模型的层合并压缩，在多个基准数据集上以较小的性能损失实现显著压缩率，并结合量化进一步提升效果。
-
Reinforcement Learning Finetunes Small Subnetworks in Large Language Models
Published: at 11:23 AM 85.92 🤔本文揭示强化学习（RL）微调大型语言模型（LLMs）时仅更新5%-30%参数子网络的现象，通过实验验证仅微调子网络即可恢复全微调性能，并指出训练数据分布接近策略是稀疏性主因，为高效微调策略提供新思路。
-
Round and Round We Go! What makes Rotary Positional Encodings useful?
Published: at 11:19 PM 85.92 🤔本文通过理论和实证分析揭示了旋转位置编码（RoPE）在大型语言模型中通过高频构建位置注意力模式和低频传递语义信息的作用机制，并提出p-RoPE方法通过截断低频提高长上下文鲁棒性，在Gemma 2B模型上取得性能提升。