Tag: Multimodal Data
All the articles with the tag "Multimodal Data".
-
Domain Regeneration: How well do LLMs match syntactic properties of text domains?
Published: at 11:19 AM
75.86 🤔本文通过‘LLM-regeneration’范式，使用Llama模型生成Wikipedia和新闻文本，发现生成文本在句法复杂性指标上表现出均值偏移、方差降低和长尾减少的系统性差异，揭示了模型在域匹配能力上的局限性。
-
R&B: Domain Regrouping and Data Mixture Balancing for Efficient Foundation Model Training
Published: at 11:18 PM 73.79 🤔R&B框架通过基于语义相似性的数据重新分组和梯度驱动的动态权重调整，以极低的计算开销（0.01%）在自然语言和多模态任务中匹配或超越现有数据混合策略，提升了基础模型训练效率。
-
Breaking the Modality Barrier: Universal Embedding Learning with Multimodal LLMs
Published: at 04:29 PM 69.81 🤔本文提出UniME框架，通过文本判别知识蒸馏和硬负例增强指令微调，利用多模态大语言模型学习通用的多模态嵌入，提高了下游任务的判别性和组合能力。
-
Training Plug-n-Play Knowledge Modules with Deep Context Distillation
Published: at 04:28 PM 69.06 🤔本文提出使用深度上下文蒸馏训练可插拔知识模块的方法，能够在低数据场景下高效整合文档知识，并通过实验证明其在问答任务中优于传统方法且与 RAG 具有协同效应。
-
Exploring the Role of Diversity in Example Selection for In-Context Learning
Published: at 09:33 AM 64.87 🤔本文提出基于多样性的上下文学习（DICL）方法，通过最大边际相关性（MMR）算法重新排序示例以平衡相关性和多样性，在多个数据集和大型语言模型上实现了约70%的下游任务性能提升或维持。