Tag: Multimodality
All the articles with the tag "Multimodality".
-
Sentinel: Attention Probing of Proxy Models for LLM Context Compression with an Understanding Perspective
Published: at 11:24 AM
91.96 🤔Sentinel提出了一种轻量化的句子级别上下文压缩框架，通过探测0.5B代理模型的注意力信号实现高达5倍压缩率，并在LongBench基准上匹配7B规模系统的QA性能。
-
Do LLMs Need to Think in One Language? Correlation between Latent Language and Task Performance
Published: at 11:44 AM 91.19 🤔本文通过引入对抗性提示干扰大型语言模型的潜在语言一致性，研究其对翻译和地理文化任务性能的影响，发现一致性并非总是必要的，因为模型能在最终层适应语言变化。
-
Not All Thoughts are Generated Equal: Efficient LLM Reasoning via Multi-Turn Reinforcement Learning
Published: at 11:13 AM 91.13 🤔本文提出Long⊗Short框架，通过长思维和短思维LLM协作推理，利用自动思维分块、冷启动SFT和多轮RL优化，显著提升推理效率，在多个基准上使Qwen2.5-7B和Llama3.1-8B性能接近蒸馏模型，同时减少token长度超80%。
-
M+: Extending MemoryLLM with Scalable Long-Term Memory
Published: at 11:27 AM 90.20 🤔M+通过引入长期记忆机制和协同训练的检索器，显著扩展了MemoryLLM的知识保留能力至超过160k token，并在长上下文任务中优于基线，同时保持较低GPU内存消耗。
-
SeMe: Training-Free Language Model Merging via Semantic Alignment
Published: at 11:16 AM 89.79 🤔本文提出SeMe，一种基于语义对齐的无训练、无数据语言模型合并方法，通过潜在空间的语义分解和变换实现参数融合，旨在保留模型行为并稳定内部知识，但缺乏充分的实验验证。