Tag: Contrastive Learning

All the articles with the tag "Contrastive Learning".

• MoRE: A Mixture of Low-Rank Experts for Adaptive Multi-Task Learning

  Published: 31 May, 2025 |  at  11:22 AM

  

  93.37 🤔

  本文提出MoRE方法，通过将LoRA的不同秩视为专家并设计自适应秩选择器，显著提升了大型语言模型在多任务场景中的微调效率和性能，同时保持较低的参数量。

• Middle-Layer Representation Alignment for Cross-Lingual Transfer in Fine-Tuned LLMs

  Published: 3 Jun, 2025 |  at  11:27 AM

  

  89.76 🤔

  本文提出了一种通过中间层表示对齐增强大型语言模型跨语言迁移能力的方法，在微调过程中交替优化任务和对齐目标，并在槽填充、机器翻译等任务中取得了改进，尤其对低资源语言有益。

• Contrastive Learning for Task-Independent SpeechLLM-Pretraining

  Published: 5 Jun, 2025 |  at  11:24 AM

  

  88.40 🤔

  本文提出了一种基于对比学习的SpeechLLM任务无关预训练方法，通过对齐语音和文本表示，在低资源场景下显著提升了ASR、语音翻译和语音问答任务的性能，并超越了多个专门模型。

• Pre-training vs. Fine-tuning: A Reproducibility Study on Dense Retrieval Knowledge Acquisition

  Published: 18 May, 2025 |  at  11:16 AM

  

  87.67 🤔

  本文通过线性探查和神经元激活分析，复制并扩展了对密集检索模型中预训练与微调知识获取作用的研究，发现预训练知识在DPR模型中主导检索效果且微调导致知识分散，但此结论在不同架构（如Contriever、RepLlama）和表示策略下并不成立。

• ExpandR: Teaching Dense Retrievers Beyond Queries with LLM Guidance

  Published: 2 Jun, 2025 |  at  11:32 AM

  

  87.44 🤔

  ExpandR通过联合优化大型语言模型和密集检索器，利用LLM生成语义丰富的查询扩展并结合DPO训练和对比学习，在多个检索基准上实现了超过5.8%的性能提升。