Tag: Robustness
All the articles with the tag "Robustness".
-
ElChat: Adapting Chat Language Models Using Only Target Unlabeled Language Data
Published: at 04:28 PM
75.31 🤔本文提出ElChat方法，通过直接在目标无标签数据上适应聊天模型，并结合模型合并和权重复制技术，成功恢复聊天能力和指令遵循，同时在目标语言性能和安全方面表现出色。
-
Racing Thoughts: Explaining Contextualization Errors in Large Language Models
Published: at 12:18 AM 74.82 🤔本文提出‘LLM Race Conditions Hypothesis’解释大型语言模型的上下文化错误，通过机械可解释性技术验证了关键窗口和上下文化顺序对模型性能的影响，并探索了推理时干预措施来缓解问题。
-
Adversarial Attacks on LLM-as-a-Judge Systems: Insights from Prompt Injections
Published: at 04:30 PM 72.07 🤔本文通过提出攻击框架和实验评估，揭示了LLM-as-a-judge系统的prompt injection漏洞，并推荐使用多模型委员会等策略提升鲁棒性。
-
Reward-Augmented Data Enhances Direct Preference Alignment of LLMs
Published: at 12:16 AM 70.15 🤔本文提出了一种奖励增强数据集方法，通过对偏好对进行重新标记使大型语言模型条件化于奖励值学习响应质量全谱，显著提升了直接偏好优化（DPO）的性能并缓解了其遗忘高质被拒响应和无差别学习低质选中响应的局限性。
-
Towards Robust and Parameter-Efficient Knowledge Unlearning for LLMs
Published: at 01:27 AM 70.15 🤔本文提出了低秩知识遗忘（LoKU）框架，包含反向铰链损失（IHL）和 Fisher 加权低秩适配器初始化（FILA），以实现鲁棒且参数高效的大语言模型知识遗忘，有效移除敏感信息同时保持模型原有能力。