Tag: Zero-Shot Learning
All the articles with the tag "Zero-Shot Learning".
-
Zero-Shot Vision Encoder Grafting via LLM Surrogates
本文提出通过构建小型代理模型训练视觉编码器并零样本嫁接至大型LLM(如Llama-70B),在保持视觉理解能力的同时将VLM训练成本降低约45%。
-
Think2SQL: Reinforce LLM Reasoning Capabilities for Text2SQL
本文通过结合监督微调(SFT)、强化学习(RL)及细粒度奖励函数(如QATCH),显著提升了小型LLM在Text2SQL任务中的推理能力和性能,Think2SQL-7B模型在BIRD数据集上超越了400B+参数模型。
-
Investigating Task Arithmetic for Zero-Shot Information Retrieval
本文提出任务算术方法,通过参数加减操作实现零样本信息检索的领域和语言适应,在科学、生物医学和多语言数据集上取得最高18%的NDCG@10提升,展现了轻量级模型适应的潜力。
-
LLM-Coordination: Evaluating and Analyzing Multi-agent Coordination Abilities in Large Language Models
本文通过LLM-Coordination基准测试框架,评估大型语言模型在纯协调游戏中的多智能体协调能力,发现其在环境依赖任务中表现优异但在心智理论推理和联合规划中存在显著不足,同时展现出对未见伙伴的零样本适应性。
-
Small or Large? Zero-Shot or Finetuned? Guiding Language Model Choice for Specialized Applications in Healthcare
本文通过实证实验指导在医疗专业应用中语言模型的选择,强调微调小语言模型和领域特定预训练的显著优势,使其在特定任务上超越零-shot 大语言模型。