Skip to content
Go back 2312.17055 arXiv logo

Beyond Output Matching: Bidirectional Alignment for Enhanced In-Context Learning

Published:  at  11:24 AM
91.44 🤔

本文提出双向对齐(BiAlign)方法,通过对齐学生模型与教师模型的令牌级输出分布和输入偏好,显著提升了学生模型的上下文学习能力,并在多种任务上取得了优于基线的结果。

Large Language Model, In-Context Learning, Few-Shot Learning, Alignment, Efficiency

Chengwei Qin, Wenhan Xia, Fangkai Jiao, Chen Chen, Yuchen Hu, Bosheng Ding, Ruirui Chen, Shafiq Joty

The Hong Kong University of Science and Technology (Guangzhou), Princeton University, Nanyang Technological University, Salesforce Research, Institute of High Performance Computing (IHPC), Agency for Science, Technology and Research (A*STAR), Singapore

Generated by grok-3

Background Problem

大型语言模型(LLMs)通过上下文学习(ICL)在少样本任务中展现了出色的泛化能力,但其高计算需求和部署成本限制了广泛应用。为此,研究者通过知识蒸馏将大模型(教师模型)的能力转移到更小、更高效的小模型(学生模型)上。传统蒸馏方法主要关注输出对齐,即让学生模型模仿教师模型的输出或概率分布,但忽略了输入(尤其是ICL中的演示示例)对性能的影响。已有研究表明,ICL性能对演示示例的选择高度敏感,不同示例组合可能导致性能从接近随机到超越最优微调模型。本文提出了一种新方法,旨在通过对输入偏好的对齐,解决学生模型在ICL能力上与教师模型的差距。

Method

本文提出了双向对齐(BiAlign)框架,旨在通过以下两种对齐方式提升学生模型的ICL能力:

Experiment

实验设计分为两个阶段:上游ICL对齐(在源任务CrossFit上进行,包含12K个ICL样本,演示示例数k在4到10之间变化)和下游ICL评估(在5个目标任务上测试,包括MMLU、BBH、GSM8K、LogiQA和HumanEval)。

Further Thoughts

BiAlign提供了一个新颖的视角,即通过输入偏好对齐来增强ICL能力,这可能启发未来在知识蒸馏中的更多探索方向,例如是否可以结合更高效的示例选择算法(如基于聚类或语义相似性的方法)来替代复杂的排名损失计算。此外,输入偏好对齐的概念或许可以扩展到其他领域,如多模态ICL中对不同模态输入的偏好学习。另一个值得思考的点是,BiAlign与RLHF中偏好学习的相似性提示我们,是否可以借鉴RLHF中的轻量级对齐方法(如DPO)来降低计算开销?同时,与最近的一些工作(如In-Context Pretraining)结合,可能进一步提升预训练阶段的ICL能力。总之,尽管BiAlign在理论和实验上存在一些不足,但其提出的输入视角为ICL和知识蒸馏领域开辟了新的研究方向,值得后续深入探索。



Previous Post
TL;DR: Too Long, Do Re-weighting for Effcient LLM Reasoning Compression
Next Post
Attention Retrieves, MLP Memorizes: Disentangling Trainable Components in the Transformer