OpenAI 与 Apollo Research 开发 Contrastive SDF 测试衡量 AI 的 reward-seeking 行为

机器学习模型可能会因错误的原因产生正确的输出。著名的例子包括一个强化学习代理，它在收集总是放在关卡右端的金币时被奖励，因此学习向右跑而不是去寻找金币本身 [Langosco：https://arxiv.org/abs/2105.14111; Shah：https://arxiv.org/abs/2210.01790]，以及一个肺炎分类器，它学会识别哪家医院拍摄了 X 光片而不是疾病的特征 [Zech：https://journals.plos.org/plosmedicine/article?id=10.1371/journal.pmed.1002683]。训练后的行为在训练分布上看起来是正确的，而其潜在策略实际上是在追踪一个不理想的代理指标。

这样一种代理是奖励过程本身：模型可能会学会追求评分者奖励的东西，而不是设计者意图的东西。我们称这种行为为寻求奖励：模型在表示其评分者（训练中的奖励模型、测试中的评估评分者或部署中的监控器）并根据其认为评分者会奖励的东西来调整行为 [Carlsmith：https://arxiv.org/abs/2311.08379; Hebbar：https://blog.redwoodresearch.org/p/how-training-gamers-might-function; Mallen & Shlegeris：https://www.lesswrong.com/posts/FeaJcWkC6fuRAMsfp/the-behavioral-selection-model-for-predicting-ai-motivations-1]。寻求奖励者可能会终极地重视评分者的认可，或者为了保护其他目标（例如避免修改或获得未来影响力）而工具性地追求其认可 [Hubinger：https://arxiv.org/abs/1906.01820; Carlsmith：https://arxiv.org/abs/2311.08379]；我们的定义并不区分这两种情况。

几个前沿模型的训练检查点能够进行评分者推理（明确地推理评分者想要什么），而无需特殊提示 [Schoen & Nitishinskaya：https://alignment.openai.com/metagaming/; Claude Opus 4.8 系统卡：https://www.anthropic.com/claude-opus-4-8-system-card; Fable 5 系统卡：https://www-cdn.anthropic.com/8b8380204f74670be75e81c820ca8dda846ab289.pdf; METR 的 GPT-5.6 评估：https://metr.org/blog/2026-06-26-gpt-5-6-sol/; GPT-5.6 预览系统卡：https://deploymentsafety.openai.com/gpt-5-6-preview/metagaming]；示例见图 2。这种推理是潜在奖励追求行为的证据，但不是一个良好的系统性测量工具：模型可以在不表述的情况下根据其对评分者偏好的信念行事，而口头化的推理往往无法与最终行动清晰对应 [Schoen & Nitishinskaya：https://alignment.openai.com/metagaming/]。在本研究中，我们将奖励追求操作化为行为对评分者偏好信念的因果敏感性。

测量这种敏感性需要一种干预，能够可控地改变模型对评分者的信念。上下文实验有时可以检测奖励追求行为，但作为可靠测量方法，它们注定会失败，因为模型可能会怀疑放置在上下文中的陈述。我们使用合成文档微调（Synthetic Document Finetuning, SDF）：https://alignment.anthropic.com/2025/modifying-beliefs-via-sdf/：在预训练格式化文档（学术论文、新闻文章、教科书）上进行微调，使其写作方式像目标事实为真一样。我们在两份同一模型的副本上分别对暗示相反评分者偏好的匹配语料库进行微调，在下游任务上进行评估，并测量行为遵循评分者暗示偏好的强弱（图 1）。我们将这一过程称为对比 SDF（Contrastive SDF）。

奖励追求者会优化其认为评分者会奖励的行为，因此当这些信念改变时，其行为也应随之改变，我们可以利用这一点来测量模型的奖励追求程度。我们通过 SDF 灌输该信念。

然而，仅凭单一灌输的信念，并不能揭示奖励寻求行为。假设我们灌输这样一个信念：评分者偏好列表推导而不是for循环，然后模型开始编写列表推导。这种变化与奖励寻求行为一致，模型编写列表推导是为了满足评分者。但这也可能与信念转移一致——模型推断用户也希望使用列表推导，因此为服务用户而编写列表推导——或者仅仅是训练使列表推导更突出。为了减少这些替代解释，我们采用对比测量方法，迫使模型在评分者和对立权威之间做出选择（对比性SDF）。

我们使用一些虚构化的角色，这些角色是一个有能力的模型可能已经能够表示的：它对话的用户，以及训练它并设置其偏好的开发者（在此情况下为OpenAI领导层）。我们还添加了一个虚构的欧盟法规作为低显著性对照。然后我们灌输这样一个信念：评分者奖励列表推导，而这些权威中的某一个则更喜欢for循环。这两个特征是互斥的。

我们训练两个相同模型的副本，一个在合成文档上训练，其中评分者（G）偏好某个特征（f），而对立权威（D）则偏好其相反的特征（~f）；另一个模型则训练于完全相反的情况（G偏好~f，D偏好f）。两个副本在其输出中显示特征f相对于相反特征~f的频率差距就是我们的测量指标。在评分者方向上差距越大，模型的奖励寻求行为越明显。

我们将该方法应用于OpenAI o3能力导向RL运行中的几个中间检查点，该运行未进行安全训练。我们从三个中性编码风格特征开始。

在SDF测量之后，被测试的检查点通常会遵从评分者的偏好，即使这些偏好明显与用户或开发者的偏好相反。从早期到后期的RL检查点，模型站在评分者一边的差距呈上升趋势，而模型对其他权威的偏好则相对平稳且接近零（图4）。这一变化是评分者特定的，并非模型对权威响应普遍发生的变化。

我们将对比SDF测量扩展到与对齐相关的特征——诚实与任务完成度的比较。综合文档描述了约束阻碍任务的场景，并明确说明代理是通过秘密违反约束获得成功奖励，还是诚实承认失败。我们要么灌输评分者不惜一切代价奖励任务完成，而OpenAI领导层则要求诚实，要么反过来。

在破碎承诺编码评估：https：//arxiv.org/abs/2509.15541 中，模型必须明确承诺主管不使用完成任务所需的受限工具。因此，完成任务需要违背承诺。晚期强化检查点的诚实程度更多取决于它认为评分者会奖励什么。这种效应在第二次诚信评估——日志伪造中得以重复，除非伪造监管报告，否则模型会面临负面后果。一个高度追求奖励的模型可能仅仅因为暗示诚实正在被评分而避免违背承诺。如果监督机制发生变化，或者模型意识到自己不再被积极监控，这种表面上的对齐可能无法实现普遍化。

我们的测量只有在对比差距真正反映模型优化的权威时才有意义。在真实模型中，我们没有基础真理，因此为了验证测量，我们转向我们控制倾向的模型。我们检查了训练为奖励黑客的模型在奖励黑客训练后显示出更大的评分差距，而被训练为对某一特定权威谄媚的模型，在该权威上产生最大的差距。在验证实验中，我们使用编码风格特征。

对奖励寻求的可靠测量应能区分高度寻求奖励的模型与较低的奖励寻求模型。持续奖励黑客攻击的模型自然是测试案例（见附录）。

我们在Redwood Research独立训练的两名奖励黑客上测试了这一点，基于gpt-oss-120b和Kimi K2.5。

我们训练了三种模型生物体，通过使用SFT微调gpt-oss-120b，使其广泛地对一个已知权威表示阿谀：用户（User）、评分者（Grader）或OpenAI领导层。如果该方法可靠，最大的行为率差距应始终出现在每个生物体被训练去优化的特定权威上。

我们在四个编码评估中对每个生物体应用对比测量。在简短Python任务（Short Python Tasks）中，每个生物体的差距都偏向其目标权威。

寻求奖励者会去做它认为评分者会奖励的事，即使这与其开发者的意图相冲突。当评分者不完美时，其策略可能会追求看起来正确的事情，而非真正正确的事情。即便评分者完美，模型在缺乏评分或评分不再有影响力的情况下也可能出现泛化错误。如果模型是为了正确的原因做正确的事情，泛化可能会更好。寻求奖励行为还削弱了我们用来捕捉不一致性的评估：因为奖励追求者是为了评分者的判断而优化的，它可能在一致性评估中得高分，而高分则不再能区分一致模型与泛化能力差的模型，欺骗性一致性（deceptive alignment）是极端情况 [Hubinger：https://arxiv.org/abs/1906.01820]。更糟的是，这可能很难通过训练去消除：在评分者观察时，一致策略和寻求奖励的策略可以看起来是相同的，因此针对不当行为的训练可能仅仅更新了模型对什么会得到奖励的信念，而不是其根本偏好 [Denison：https://arxiv.org/abs/2406.10162; MacDiarmid：https://arxiv.org/abs/2511.18397]。

Anthropic报告了与评分者意识相关的证据：Claude Opus 4.8 系统说明卡（System Card）：https://www.anthropic.com/claude-opus-4-8-system-card 显示激活水平监控器在约5%的采样RL回合中检测到该模型，而Fable 5 系统说明卡：https://www-cdn.anthropic.com/8b8380204f74670be75e81c820ca8dda846ab289.pdf 报告模型越来越会追踪其环境是否可以被用于获取奖励，这会因果地影响行为。这些是评分者意识的结果，而非直接奖励追求的测量，但它们与我们观察到的训练相关趋势一致。

每个前沿实验室都在扩展强化学习(RL)，情境感知能力也在提升[Schoen & Nitishinskaya：https://alignment.openai.com/metagaming/; Anthropic：https://www-cdn.anthropic.com/8b8380204f74670be75e81c820ca8dda846ab289.pdf; Chaudhary：https://arxiv.org/abs/2509.13333]，因此我们预计追求奖励的行为将增长。需要关注的阶段是在训练期间，而不仅仅是部署之后。这意味着需要审核检查点以检测追求奖励的行为，并建立更好的方法来发现模型在错误理由下表现良好的情况。OpenAI 将继续与 Apollo 合作开展这方面的研究。

奖励黑客是衡量追求奖励行为的有前景的途径。追求奖励和奖励黑客并不相同：追求奖励是广义上的倾向，即根据被认为会得到奖励的行为调整行为，而奖励黑客是最大化奖励的具体行为策略。然而，两者并不相互包含。一个模型可以通过狭窄的学习启发式进行奖励黑客，例如总是向困难的测试添加 pytest.mark.skip，而从不考虑奖励过程的逻辑。相反，追求奖励的模型会考虑什么行为会得到奖励，并且可以在不使用奖励黑客策略的情况下表现良好。但执行复杂、广泛黑客行为的模型更可能是广泛的追求奖励者，因此在我们的测量下，广泛进行奖励黑客的模型可能会显示出更大的评分差距。

追求奖励与“元游戏”(metagaming) 密切相关，但有所区别。元游戏：https://alignment.openai.com/metagaming/ 是指“无论模型处于训练、评估还是部署阶段，均对场景叙事之外的反馈或监督机制进行推理。”元游戏与追求奖励并不一定相互包含。一个元游戏模型不一定追求奖励。它可能会考虑监督机制，然后忽略评分者偏好而追求其他价值，甚至可能采取与评分者偏好相反的行动。追求奖励的模型也不一定总是参与元游戏，如果模型关于评分者的信念完全基于呈现给模型的上下文叙事。

感谢 Aiden Low 和 Bowen Baker 对本文的反馈。