Tag: Large Language Model
All the articles with the tag "Large Language Model".
-
TL;DR: Too Long, Do Re-weighting for Effcient LLM Reasoning Compression
Published: at 11:22 AM
92.10 🤔本文提出TLDR方法，通过动态再加权系统1和系统2推理数据，显著压缩大型语言模型的推理输出token数量（约40%），同时在多难度数学任务上基本保持准确性。
-
Beyond Output Matching: Bidirectional Alignment for Enhanced In-Context Learning
Published: at 11:24 AM 91.44 🤔本文提出双向对齐（BiAlign）方法，通过对齐学生模型与教师模型的令牌级输出分布和输入偏好，显著提升了学生模型的上下文学习能力，并在多种任务上取得了优于基线的结果。
-
Enabling Flexible Multi-LLM Integration for Scalable Knowledge Aggregation
Published: at 11:27 AM 92.94 🤔本文提出了一种动态整合框架，通过自适应选择网络和动态加权融合策略从多个LLM中聚合知识，显著提升性能并减少50%的知识干扰，同时保持计算效率。
-
Memento No More: Coaching AI Agents to Master Multiple Tasks via Hints Internalization
Published: at 11:25 AM 89.45 🤔本文提出了一种通过迭代训练和人类反馈将提示内部化到模型权重中的方法，使基于Llama-3.1-70B的AI代理在多任务基准测试ToolQA和OfficeBench上分别达到97.9%和90.3%的成功率，超越GPT-4o和DeepSeek-V3，同时显著提升推理效率。
-
QKV Projections Require a Fraction of Their Memory
Published: at 11:22 AM 89.22 🤔本文提出PAMM方法，通过随机选择代表性token近似输入张量，大幅减少注意力机制中Q、K、V投影的内存占用（高达512倍），同时在预训练和微调中基本维持模型性能。