Tag: Multimodal Data
All the articles with the tag "Multimodal Data".
-
One Task Vector is not Enough: A Large-Scale Study for In-Context Learning
Published: at 11:28 AM
91.21 🤔本文通过大规模数据集 QUITEAFEW 研究上下文学习中任务向量的作用，发现其在中间层表现最佳但对复杂任务支持不足，提出复杂任务依赖多个子任务向量的分布式表示假设。
-
ProRL: Prolonged Reinforcement Learning Expands Reasoning Boundaries in Large Language Models
Published: at 11:45 AM 91.52 🤔本文提出ProRL方法，通过长时间强化学习结合KL散度惩罚和参考策略重置，在多样化任务上训练Nemotron-Research-Reasoning-Qwen-1.5B模型，显著扩展了大型语言模型的推理边界，尤其在基础模型表现较差的领域和分布外任务上表现出色。
-
Scalable Fine-tuning from Multiple Data Sources: A First-Order Approximation Approach
Published: at 11:26 AM 87.86 🤔本文提出GRADEX算法，通过一阶近似快速估计语言模型微调损失，实现子集选择的30倍以上加速，并在指令微调和思维链微调任务中比基线方法提升高达3.8%的性能。
-
Task Specific Pruning with LLM-Sieve: How Many Parameters Does Your Task Really Need?
Published: at 11:33 AM 89.05 🤔LLM-Sieve提出了一种任务特定的剪枝框架，通过联合低秩投影和遗传算法实现差异化剪枝，在保持1-5%精度损失下减少20-75%的参数，显著优于现有方法，并与LoRA微调和量化兼容。
-
More is not always better? Enhancing Many-Shot In-Context Learning with Differentiated and Reweighting Objectives
Published: at 01:15 PM 87.51 🤔本文提出DrICL方法，通过差异化学习和基于优势的重新加权优化大型语言模型在many-shot上下文学习中的性能，并在自建的ICL-50数据集上验证了其在多种任务中的稳定性和有效性。