Tag: Large Language Model
All the articles with the tag "Large Language Model".
-
Beyond Output Matching: Bidirectional Alignment for Enhanced In-Context Learning
Published: at 11:24 AM
91.44 🤔本文提出双向对齐（BiAlign）方法，通过对齐学生模型与教师模型的令牌级输出分布和输入偏好，显著提升了学生模型的上下文学习能力，并在多种任务上取得了优于基线的结果。
-
ZeroTuning: Unlocking the Initial Token's Power to Enhance Large Language Models Without Training
Published: at 11:23 AM 91.42 🤔ZeroTuning提出了一种无需训练的方法，通过调整大型语言模型初始token的注意力分布，在文本分类、问答和多轮对话任务中显著提升性能，同时展现出对资源限制和长上下文的鲁棒性。
-
One Task Vector is not Enough: A Large-Scale Study for In-Context Learning
Published: at 11:28 AM 91.21 🤔本文通过大规模数据集 QUITEAFEW 研究上下文学习中任务向量的作用，发现其在中间层表现最佳但对复杂任务支持不足，提出复杂任务依赖多个子任务向量的分布式表示假设。
-
Do LLMs Need to Think in One Language? Correlation between Latent Language and Task Performance
Published: at 11:44 AM 91.19 🤔本文通过引入对抗性提示干扰大型语言模型的潜在语言一致性，研究其对翻译和地理文化任务性能的影响，发现一致性并非总是必要的，因为模型能在最终层适应语言变化。
-
Not All Thoughts are Generated Equal: Efficient LLM Reasoning via Multi-Turn Reinforcement Learning
Published: at 11:13 AM 91.13 🤔本文提出Long⊗Short框架，通过长思维和短思维LLM协作推理，利用自动思维分块、冷启动SFT和多轮RL优化，显著提升推理效率，在多个基准上使Qwen2.5-7B和Llama3.1-8B性能接近蒸馏模型，同时减少token长度超80%。