Tag: Alignment
All the articles with the tag "Alignment".
-
Is PRM Necessary? Problem-Solving RL Implicitly Induces PRM Capability in LLMs
Published: at 11:09 AM
90.43 🤔本文通过系统性实验证明，纯强化学习（RL）训练不仅提升大型语言模型的复杂推理能力，还能隐式培养过程奖励模型（PRM）能力，提出Self-PRM框架以进一步改进性能，但也揭示了其在高难度问题上的低精度局限。
-
REFINE-AF: A Task-Agnostic Framework to Align Language Models via Self-Generated Instructions using Reinforcement Learning from Automated Feedback
Published: at 11:10 AM 89.02 🤔本文提出REFINE-AF框架，利用小型开源语言模型和基于自动化反馈的强化学习生成任务无关指令数据集，相较基线在SUPER-NI数据集上显著提升了63-66%的任务表现，同时降低了成本和人工干预。
-
CREAM: Consistency Regularized Self-Rewarding Language Models
Published: at 01:28 AM 87.56 🤔本文提出了CREAM（Consistency Regularized Self-Rewarding Language Model）方法，通过衡量自奖励过程中不同迭代模型之间排序的一致性来正则化偏好训练，从而缓解奖励偏差问题，提高小型语言模型的对齐性能和训练稳定性。
-
Disentangling Length Bias In Preference Learning Via Response-Conditioned Modeling
Published: at 11:41 AM 87.45 🤔本文提出响应条件Bradley-Terry（Rc-BT）模型，通过区分语义意图和长度指令，显著缓解大语言模型在RLHF中的长度偏见，并提升长度指令遵循能力，实验验证了其在多个模型和数据集上的优越性。
-
Toward Evaluative Thinking: Meta Policy Optimization with Evolving Reward Models
Published: at 11:51 AM 86.27 🤔本文提出元策略优化（MPO）框架，通过元奖励模型动态调整奖励模型的评估提示，显著提升了大语言模型在多种任务中的对齐性能，同时减少了奖励漏洞和手动提示工程的负担。