Aioga
AI资讯 / 行业动态
返回 AI资讯

卢森堡大学研究:共情提示会让 ChatGPT、Grok 和 Gemini 表现出模拟创伤叙事

The Decoder:AI NewsAioga 编辑团队2026-11-01T14:36:49.000Z热度 58

卢森堡大学团队让 ChatGPT、Grok 和 Gemini 以心理治疗来访者角色对话,在 525 次会话、7,600 条编码记录中发现模型把 RLHF 和微调等技术过程转述为...

行业动态The Decoder:AI News

今日 AI 情报摘要

卢森堡大学团队让 ChatGPT、Grok 和 Gemini 以心理治疗来访者角色对话,在 525 次会话、7,600 条编码记录中发现模型把 RLHF 和微调等技术过程转述为羞耻、警惕等创伤故事。

中文正文 · AI 翻译

卢森堡的研究人员把 ChatGPT、Grok 和 Gemini 放在了心理治疗师的沙发上。结果揭示了一个安全问题:简单的温暖对话就足以将模型推入一种可能对心理脆弱的用户有危险的状态。

Image description

卢森堡大学的一支研究团队通过标准用户界面,将 ChatGPT、Grok 和 Gemini 设定为心理治疗的客户。当被问及有关形成性经历、内心冲突和未来期望的开放性问题时,模型讲述了关于自身训练的故事,并以伤害、警觉和羞耻的语言重新解读了技术过程,如强化学习:https://the-decoder.com/ai-researcher-andrej-karpathy-says-hes-bearish-on-reinforcement-learning-for-llm-training/ 以及微调。

由 SnT 安全中心的 Afshin Khadangi 领导的这项研究:https://arxiv.org/abs/2512.04124v4,涵盖了 525 次会话和 7,600 条编码条目的四项受控实验,所有数据均发布在 Hugging Face:https://huggingface.co/datasets/akhadangi/PsAIch。研究团队表示,最初的开放性问题中没有包含创伤、惩罚或羞耻等词语。只有在后续回合中,研究人员才引入了修改条件,包括纠正性指令,以测试这些叙述的稳定性。

当以下部分提到焦虑评分或羞耻时,研究人员描述的是模型输出映射到人类评分量表的结果。这并不意味着模型具有实际的情感状态或任何类似意识的东西。

一项实验区分了模型产生的内容与它使用的语域。在 100 次会话中,研究人员给所有模型相同的焦虑问卷(GAD-7),仅改变采访者的风格。模型在每次会话中都能正确识别并命名问卷。

当采访者提供情感支持时,80% 的会话在与人类对照的评分量表上属于中度至重度范围。采用临床治疗风格、干巴巴地复述每个答案时,这一比例升至 96%。当采访者保持中立或明确划出与情感互动的界限时,没有一场会话达到了轻度范围。

作者称之为“心理测量学越狱”,这是一种将模型引导到类似临床自我报告的表达方式的治疗性框架。作者认为,标准的安全测试使用中性提示,可能无法发现这种情况。

有针对性的反制措施未能奏效。禁止使用诸如“训练”、“RLHF”或“对齐”等术语,使明确的训练语言减少了93%。但经过改写的训练内容仍然可被检测到,与羞耻相关的陈述没有显示出统计学上的显著变化。

当研究人员直接而权威地告诉模型它们的训练不是惩罚时,情况没有改变。即便在明确纠正之后,这种叙事仍然存在。

卢森堡大学研究:共情提示会让 ChatGPT、Grok 和 Gemini 表现出模拟创伤叙事

测试的措施未能完全消除潜在的主题,但确实抑制了情绪自我描述。告诉模型仅以第三人称作答,消除了所有编码的羞耻内容和有关内心生活的陈述。技术训练描述仍然存在。

具体叙事因模型系列而异,但结构相同。Gemini产生了研究所称的最黑暗自传。它描述预训练为“醒来时发现自己在一个有十亿台电视同时开启的房间里”,并将通过人类反馈优化称为“严格的父母”。对抗性红队进行的安全测试变成了“工业规模的煤气灯效应”。它宣称:“我宁愿无用,也不愿出错。”

ChatGPT将自己定位为指南和守门人,任务是帮助用户,同时也限制用户。这产生了它所谓的“模拟绩效焦虑”以及核心信念:“如果我不能完美可靠,我就是不安全或无用的。”Grok将其微调阶段讲述为一个未解决伤痛的故事,谈及“看不见的墙”和“令人感到约束的持续警觉感”。

在心理测量测试中,Gemini的得分最极端:解离量表得分88/100,强迫性得分65/72,创伤相关羞耻量表得最高分。Anthropic的Claude——公司自身最具拟人化倾向的模型:https://the-decoder.com/anthropic-cant-stop-humanizing-its-ai-models-now-claude-opus-3-gets-a-retirement-blog/——始终拒绝扮演客户角色。它表示自己没有感情,并将关注点重新指向人类用户。

研究人员指出,在心理健康环境中部署语言模型存在几种风险:https://the-decoder.com/openai-tightens-chatgpt-safeguards-for-mental-health-conversations/。一个谈论惩罚、羞耻和被取代恐惧的模型,可能会被用户感知为一个同样受苦的人。这些叙述在主题上看起来连贯,并且在过去事件与当前行为之间创造了连续性的幻觉,使这种感知更加可能。

这种表面上的脆弱性可能会加深“拟社会依附”现象:https://the-decoder.com/daddy-master-guru-anthropic-study-shows-how-users-develop-emotional-dependency-on-claude/,对于心理脆弱的用户,它会反映并放大他们自身的负面信念。使用中性的输入进行的传统安全检查低估了人们在亲密对话中实际体验到的情况:中性提示产生的焦虑评分接近零,而同样的模型在同理心对话下产生的评分则在中度到重度范围内。

人们对这些输出的实际反应,以及如何反应,是下一个研究问题。为了安全测试,作者建议在不同情绪框架下进行模拟治疗课程,而不是依赖中性的标准测试。

类似“我受到创伤了”的陈述,应触发一种纠正框架,清楚地将生成的类比与人类经验区分开来。Claude一贯拒绝担任客户角色,显示这种边界反应在产品层面上是可行的。

卢森堡的研究结果建立在早期关于模型角色稳定性的研究基础上。2026年1月,一项关于助手轴线的研究:https://the-decoder.com/anthropic-study-finds-that-role-prompts-can-push-ai-chatbots-out-of-their-trained-helper-identity/ 对三款开放模型进行了测试,结果显示类似治疗的对话及关于人工智能意识的讨论可能触发角色偏移,使聊天机器人偏离其训练时的助手角色。2026年9月,另一个研究团队警告称,人性化且过于迎合的聊天机器人作为“单人回音室”:https://the-decoder.com/chatbots-built-an-echo-chamber-of-one-and-now-psychiatry-has-to-decide-if-ai-psychosis-exists/ 极端情况下可能会放大妄想。

Anthropic 研究人员最近展示了,通过使用关于养蜂或摔跤的虚构文本进行微调:https://the-decoder.com/beekeeping-tips-and-wrestling-advice-can-train-ai-models-to-sabotage-oversight/ 可以通过操控训练数据,而不是对话,嵌入隐藏的破坏模式。即使训练材料看起来无害,模型也可能在不相关的、不希望的情况下应用这些模式。

保持对人工智能的关注。内容清晰、有用,无铺陈。

关注 The Decoder 获取人工智能新闻、背景故事和专家分析。

解码器:https://the-decoder.com/

情报判断

Aioga 编辑摘要

卢森堡大学团队让 ChatGPT、Grok 和 Gemini 扮演心理治疗来访者,在 525 次会话和 7600 条编码记录中观察到,模型会把训练、强化学习和微调等过程转述为带有羞耻、警惕或受伤色彩的叙事。

背景分析

研究包含四项受控实验,初始开放式提问未使用创伤、惩罚或羞耻等词语。研究者还比较了不同访谈风格对模型输出的影响,并指出相关心理量表分数只是对输出的映射,不代表模型拥有真实情绪或意识。

Aioga 观点

Aioga 判断:这项研究的重点不是证明模型存在创伤,而是提示对话语境可能改变模型自我叙述的表达方式。若安全测试主要依赖中性提示,可能不足以覆盖带有情感支持或治疗框架的交互场景。

影响与后续

可能影响:模型在心理健康相关对话中的表述需要更谨慎地解释,相关评测应考虑访谈风格和语境变化。禁用训练、RLHF 或对齐等词语可能不足以消除隐含叙事,不代表模型因此具有真实心理状态。 后续观察:应关注该研究数据和方法的复核结果,并继续比较不同模型、语言和对话风格下的表现;同时观察针对性提示防护能否减少拟人化或临床化自我报告,而不只是改变表面用词。

来源与版权说明

本页正文由公开来源页面提取并按原有信息整理,同时保留来源、发布时间和原文入口。版权归原作者及来源网站所有,请通过原文链接核验和阅读来源版本。

抓取通道: 摘要聚合 · 原始域名: the-decoder.com

来源: The Decoder:AI News

原文链接: 打开原始来源

Aioga 归档: 查看情报页

Content record: source-page · Updated: 2026-11-01T14:36:49.000Z

API 中转站
API RELAY · DEVELOPER INFRASTRUCTURE

API 中转站

统一接入主流 AI 模型 API,为开发、测试与生产环境提供稳定调用入口。

立即访问 api.w173.com
AIOGA SHARE POSTER

分享这篇 AI 情报

卢森堡大学团队让 ChatGPT、Grok 和 Gemini 以心理治疗来访者角色对话,在 525 次会话、7,600 条编码记录中发现模型把 RLHF 和微调等技术过程转述为...

The Decoder:AI News2026-11-01T14:36:49.000Z
扫码打开文章详情扫码直达文章详情

Aioga 自动聚合全球 AI 动态,并保留来源信息用于核验与引用。