在莫得尺度谜底的怒放式对话中，RL 该怎样作念？

多轮对话是大模子最典型的怒放任务：高频、多轮、强情境依赖，且"好回复"因东说念主而异。

有关词，当用 RL 去优化大模子在真实交互中的"情商"时，RLVR 一度堕入"三大逆境"：

环境逆境

真实对话是多轮、动态且高度个性化的。怎样构建一个既真实、千般，又可供模子目田探索（rollout）的交互环境？

奖励逆境

"高情商"莫得尺度谜底。怎样将用户主不雅骄气度转动为踏实、可优化的长期奖励？

历练逆境

如安在 LLM 上齐备踏实、高效的多轮在线 RL 历练？

腾讯混元数字东说念主团队建议的RLVER ( Reinforcement Learning with Verifiable Emotion Rewawards ) 框架指出了一个方针：

让一个踏实、高质地的用户模拟器，同期上演"交互环境"和"奖励起原"的双重脚色，见效将 RLVR 引入多轮对话，为大模子在怒放域 RL 上历练提供了灵验、可推广的新解法。

经过 RLVER 历练的 Qwen2.5-7B 模子，在情怀对话基准 Sentient-Benchmark 上的得分从 13.3 跃升至 79.2，发扬与 GPT-4o、Gemini 2.5 Pro 等顶级商用模子相等。

模子现已开源，邻接可见文末。

RLVER：为"情商"这一怒放问题，构建灵验的 RL 闭环

传统对话优化，要么依赖静态数据，要么依赖上流的东说念主工标注。

而 RLVER 建议了一种新旅途：以"环境 + 奖励"一体化的用户模拟器为中枢，深重地不停了上述三大挑战。

模拟器即环境：创造一个"活"的对话全国

RLVER 团队意志到，果然的"高情商"是千东说念主千面的，因此，RLVER 构建的用户模拟器不仅仅一个绵薄的对话机器东说念主。

它领有千般的用户画像和用户交互场景（不同的用户特性、对话布景、潜在需求），能模拟出海量真实、多变的用户。

每个用户孤独、动态地和模子交互，左证模子的回复及时更新自己的心理现象，并给出个性化的回复。

这为模子提供了一个不错无穷探索、充满真实感和千般性的在线学习环境，同期幸免 reward hacking。

模拟器即奖励：一个果然的"用户感受评分系统"

"情商"的评价，实质是用户主不雅体验，但这种主不雅体验要怎样变成踏实、可优化的奖励？

RLVER 基于 SAGE 框架，通过显式、可复现的推理经过，模拟用户在每一轮对话后的心理变化。

对话末端后，累积的"心理总分"便成为奖励信号，平直驱动 PPO/GRPO 算法优化模子。

这一打算开脱了"黑盒打分器"，将"用户骄气度"显式建模成逻辑可控的奖励函数，使历练经过愈加踏实、透明、果然。

全局奖励优化：从单轮反馈到"全局心理轨迹"优化

不同于逐句反馈的气象，RLVER 关怀统共对话的心理变化趋势，仅以最终"心理总分"行为奖励，带领模子优化长周期政策。

唯有果然清爽用户意图、看守用户心理长期走高，模子才能得到更高的总奖励。这荧惑模子跳出局部最优，学会更具延展性和政策性的外交对话举止。

中枢效果：7B 模子并排"巨头旗舰"

更贫窭的是，模子在数学、代码等通用能力上险些莫得阑珊，见效幸免了"祸害性淡忘"。

此外，RLVER 对模子举止立场的影响也相等权贵：模子从"解题型立场"迁徙到"心理型立场"，想路不再是"问题怎样不停"，而是"我能清爽你的感受"。

深度知悉：从想考到举止

在 RLVER 的历练试验经过中，征询团队还得到了一些充满启发性的发现。

知悉一："想考式" v.s. "反映式"模子——通往"共情"的两种旅途

RLVER 引入了显式的 think-then-say 教唆模板，条目模子在每轮回复前先进行心理分析、政策推理，再生成最终复兴。通过对比带 / 不带"想考"的模子，征询团队不雅察到两条通向"共情"的截然不同旅途：

"想考式模子"：走向"深度清爽"

显式想考链促使模子在生成前进行推理，权贵提高两项中枢能力：

问题知竭力于：识别用户心理背后的真实动因与潜在需求；

共情抒发与考据：精确捕捉并反馈深层心理，让用户"感到被清爽"。

这类模子更像是"灵魂亲信"：擅长振奋倾听、准确复兴，用话语成就深层情怀纠合。

"反映式模子"：走向"快速举止"

比拟之下，未带领想考的模子平直生成复兴，尽管在知悉和共情维度上稍逊一筹，却自觉发展出"举止导向"的抵偿政策：

快速判断用户逆境，提供具体、可实行的建议，或个性化举止邀请；

以"实用性"弥补情怀清爽上的不及，酿成"举止派伙伴"的脚色定位。

这一双比揭示了在怒放复杂任务下 RL 历练的预想气象：模子在能力受限时，会自觉寻找政策性的"抵偿旅途"，而 RLVER 提供的千般化、多政策兼容的历练环境，恰是促成这千般种举止演化的要津泥土。

知悉二：PPO vs. GRPO ——踏实增长如故能力禁锢？

在优化算法上，RLVER 团队也得出了实用论断：

GRPO：倾向于带来更踏实、平衡的能力增长。

PPO：则更能将模子在特定维度（如共情深度、中枢知悉）的能力推向更高上限。

这引出一个预想的政策想考：关于"情商"这类多维度的复杂能力，当模子各方面都达到"及格线"后，是继续作念"六边形战士"，如故皆集打造一两个"杀手锏"维度的长板？

在著作的实验甩手中，后者带来了更优的轮廓发扬。

知悉三：环境和奖励的立场影响——严师巧合出高徒

在 RLVER 框架中，用户模拟器同期上演"历练环境"与"奖励模子"的双重脚色。因此，它的立场——即"用户经受度"与反馈气象——对模子学习旅途具有平直影响。

一个当然的追问是：条目更严格的用户，会历练出更强的模子吗？

实验给出的谜底是：并非越难越好。

RLVER 团队构建了两类用户模拟器：

Vanilla 版：心理外露、反馈积极，经受度较高；

Challenging 版：心理内敛、反馈克制，对复兴质地条目极高。

在调换开动模子下分辨进行历练与测试后，RLVER 团队发现：

太难的环境，不利于模子早期成长

固然 Challenging 模拟器在打算上更真实，但它反馈含蓄、容错率低，使得模子在历练早期难以试错探索千般政策，也难以得到正向引发。这会导致 RL 历练堕入"无反馈→无学习→崩溃"的恶性轮回。

相悖，Vanilla 模拟器的反馈机制相对包容和积极，更利于模子在历练初期的政策探索与能力蕴蓄，酿成踏实的共情抒发民俗。

政策启示：在强化学习优化怒放任务（如"情商"）时，历练环境不应一味"设难"，而应强调"成长弧线"打算。"严师出高徒"的前提，是学生还是能听懂资格。

而在能力尚浅的早期，慈悲、可学的"陪练型用户"反而更能助力模子成长为果然的共情者。

带想考的模子，更"抗打击"

一个附加的预想发现是：在 Challenging 环境下，带有显式"想考结构"的模子权贵更鲁棒：

固然全体分数有所着落，但仍保抓在可用水平；

而不带想考结构的模子则险些透顶崩溃，得分低至 19.8。

这标明，显式推理能力好像缓冲寥落奖励带来的历练不踏实性。即使短少明显反馈，模子也不错借助"内在分析"挖掘用户需求信号，从而保抓一定的相宜性。

前期责任：

论文地址：https://arxiv.org/abs/2507.03112

款式代码：https://github.com/Tencent/digitalhuman/tree/main/RLVER

开源模子：https://huggingface.co/RLVER

一键三连「点赞」「转发」「留心心」

迎接在驳斥区留住你的主张！

—  完  —

� � 点亮星标 � �

科技前沿进展逐日见开云kaiyun