Tag: Multimodal Data
All the articles with the tag "Multimodal Data".
-
Understanding Cross-Lingual Inconsistency in Large Language Models
Published: at 11:22 AM
86.50 🤔本文通过*logit lens*分析大型语言模型（LLMs）的跨语言不一致性，发现大型模型倾向于在个别语言子空间操作而非共享语义空间，并提出跨语言激活引导方法以提升小型模型的多语言推理性能和知识转移。
-
Investigating Task Arithmetic for Zero-Shot Information Retrieval
Published: at 08:43 AM 86.02 🤔本文提出任务算术方法，通过参数加减操作实现零样本信息检索的领域和语言适应，在科学、生物医学和多语言数据集上取得最高18%的NDCG@10提升，展现了轻量级模型适应的潜力。
-
Cross-Lingual Optimization for Language Transfer in Large Language Models
Published: at 11:23 AM 85.77 🤔本文提出跨语言优化（CLO）方法，通过翻译数据和改进的DPO策略，将英语中心的大型语言模型有效转移到目标语言，在保持英语能力的同时显著提升目标语言性能，尤其在低资源语言中以更少数据取得优于传统SFT的结果。
-
Achieving Tokenizer Flexibility in Language Models through Heuristic Adaptation and Supertoken Learning
Published: at 11:14 AM 85.73 🤔本文提出TokenAdapt框架，通过混合启发式初始化策略实现分词器移植，并在零样本困惑度测试中显著优于基线方法，同时初步探索Supertoken学习以提升压缩效率。
-
IDEAL: Data Equilibrium Adaptation for Multi-Capability Language Model Alignment
Published: at 11:23 AM 85.61 🤔IDEAL提出了一种基于梯度的迭代数据均衡适应框架，通过动态优化监督微调（SFT）中多领域数据集的比例，在2次迭代内显著提升大型语言模型的多任务性能，平均得分提高约7%。