Tag: Representation Learning
All the articles with the tag "Representation Learning".
-
LiSTEN: Learning Soft Token Embeddings for Neural Audio LLMs
Published: at 11:20 AM
88.81 🤔本文提出LiSTEN框架，通过动态提示选择策略高效适应大型语言模型到音频任务，在减少大规模数据集依赖和训练参数量的同时，实现了多任务学习中的竞争性能和更高的可解释性。
-
Internal Chain-of-Thought: Empirical Evidence for Layer-wise Subtask Scheduling in LLMs
Published: at 11:09 AM 88.75 🤔本文通过层级上下文掩码和跨任务补丁方法，验证了大型语言模型内部存在‘内部思维链’，即在不同网络深度学习并按序执行复合任务的子任务，从而提升了模型透明度并为指令级行为控制开辟了新路径。
-
Nonparametric learning of covariate-based Markov jump processes using RKHS techniques
Published: at 12:18 AM 88.71 🤔本文提出了一种基于再生核希尔伯特空间（RKHS）的非参数化方法，通过频率学和贝叶斯框架建模连续时间马尔可夫链（CTMC）中协变量驱动的非线性转移率，显著提升了个体化状态转移预测的准确性。
-
From Compression to Expansion: A Layerwise Analysis of In-Context Learning
Published: at 11:15 AM 88.68 🤔本文通过统计几何分析揭示了大型语言模型在上下文学习中的层级压缩-扩展现象，早期层压缩任务信息，后期层扩展生成预测，并探讨了模型大小、演示数量和噪声对性能的影响。
-
Parameter-Efficient Fine-Tuning with Column Space Projection
Published: at 11:16 AM 88.66 🤔本文提出PiCa，一种基于谱特性的参数高效微调方法，通过将梯度投影到预训练权重的低秩列子空间并结合权重共享，在显著减少参数量的同时实现了优于LoRA和SVFT的性能。