Aioga
AI资讯 / 行业动态
返回 AI资讯

OpenAI 新推理技术引发 AI 安全专家担忧:Astra 采用不透明循环或影响链式思维监控

TechCrunch:AI(RSS)Aioga 编辑团队2026-09-02T20:19:14.000Z热度 58

据 The Information 报道,OpenAI 新模型 Astra 将使用名为 recurrent depth(不透明循环)的推理技术,让模型以循环方式多次处理同一查询...

行业动态TechCrunch:AI(RSS)

今日 AI 情报摘要

据 The Information 报道,OpenAI 新模型 Astra 将使用名为 recurrent

depth(不透明循环)的推理技术,让模型以循环方式多次处理同一查询,留下更少的可读痕迹,可能使链式思维更难监控。

中文正文 · AI 翻译

OpenAI的新Astra模型将使用一种称为“递归深度”的推理技术,使其能够超越大多数推理模型所特有的顺序思维,《The Information》周二报道:https://www.theinformation.com/articles/secret-technique-behind-openais-astra-model-sparks-security-concerns。这种技术,也被称为“不透明递归”,可能会使模型的思维链更难以监控——这让人工智能安全专家感到不安。

尽管据报道Astra对该技术的使用有限,但其出现仍引起了人工智能安全专家的重大关注。

“我对于Astra使用不透明递归的报道感到极度担忧,”Redwood首席执行官Buck Shlegeris在消息发布后写道:https://x.com/bshlgrs/status/2094990313513439464?s=46&t=45_xAnRsdQP1GVqYv9Gdbw。“我不知道Astra是否比以往的模型更难以监控思维链。但如果OpenAI进一步推进这一技术,他们将有机会大幅增加递归,从而完全破坏思维链的可监控性。”

长期从事人工智能安全倡导的Zvi Mowshowitz也发表了看法,并写道:https://thezvi.substack.com/p/anthropic-has-some-alignment-problems?open=false#%C2%A7this-just-in 可能有必要制定法律,以防止AI实验室之间的“恶性竞争”。

“Mowshowitz写道,这项技术是在玩火,冒着触碰禁忌的风险——OpenAI和Anthropic一直在努力建立并维持思维链的忠实性和可监控性。” Mowshowitz写道。“更频繁地使用此类技术可能会损害可监控性。”

在正常情况下,推理模型的思维链提供了模型试图解决问题时采取的顺序步骤。虽然这种表述并不完美,但它仍然是监控模型行为异常或不匹配的重要工具。在OpenAI近期的流氓代理活动中,思维链记录是揭示代理行为原因的重要工具。

在不透明递归中,模型采用较不线性的方式,多次循环处理同一查询。结果留下的可读痕迹较少,有效地绕过了传统的思维链记录。

关键是,Astra 对该技术的使用似乎是有限的。模型的思维链仍然应当是可读的,公司也对任何将其转向“神经语” 的建议表示反对。OpenAI 已经宣布计划建立广泛的链式思维监控系统,作为其前瞻性安全计划的一部分。

在 X 上的一篇帖子中:https://x.com/merettm/status/2095023204993490967,OpenAI 首席科学家 Jakub Pachocki 强调了实验室对可读思维链的承诺。Pachocki 写道:“自从我们最早的推理模型开始,OpenAI 就一直致力于保存和利用思维链监控。这是我们当前研究计划的核心目标。”

所有 AI 模型都进行一定程度的不透明推理,很少有研究人员将思维链日志视为模型推理的直接表现。然而,这些提示并不能消除人们对不透明递归可能使 AI 推理更难监控的担忧,尤其当它在不同模型中越来越广泛使用时。在周三早上的后续报道中,《The Information》报道称,Anthropic 和 Google DeepMind 已经在讨论该技术。

在回应该新闻的一篇帖子中:https://x.com/ryangreenblatt/status/2094996656186081642?s=46&t=45_xAnRsdQP1GVqYv9Gdbw,Redwood Research 首席科学家 Ryan Greenblatt 表示,不透明推理可能比传统链式思维推理增长得更快,有效地将所有推理从可见渠道中移除。

Greenblatt 写道:“我最担心的是,从这里自然发展的路径可能会导致不透明推理扩展到模型完全或几乎完全在潜在空间中推理的程度。我希望避免最令人担忧的架构还不算太晚,也希望 OpenAI 会在此止步。”

当您通过我们文章中的链接购买时,我们可能会赚取少量佣金:https://techcrunch.com/techcrunch-affiliate-monetization-standards/。这不会影响我们的编辑独立性。

Russell Brandom
Event Logo

不要错过。创业社区将齐聚一堂,回答一个关键问题:在 AI 时代如何实现可持续建设?

优步正在裁员10%,即3300人:https://techcrunch.com/2026/09/02/uber-is-laying-off-10-of-staff-or-3300-people/ Ram Iyer:https://techcrunch.com/author/ram-iyer/

苹果分享针对前员工的“令人震惊的证据”,该员工被指控为OpenAI窃取公司数据:https://techcrunch.com/2026/08/31/apple-shares-shocking-evidence-against-former-employee-accused-of-stealing-company-data-for-openai/ Amanda Silberling:https://techcrunch.com/author/amanda-silberling/

微软测试解决最新长时间Outlook宕机的方法:https://techcrunch.com/2026/08/31/microsoft-tests-fix-for-latest-hours-long-outlook-outage/ Sarah Perez:https://techcrunch.com/author/sarah-perez/

MapQuest应用在拒绝重命名安大略湖后跃升至导航类第一:https://techcrunch.com/2026/08/31/mapquests-app-surges-to-no-1-in-navigation-after-refusing-to-rename-lake-ontario/ Sarah Perez:https://techcrunch.com/author/sarah-perez/

马斯克加快更多燃气轮机进程但带来污染问题:https://techcrunch.com/2026/08/30/musks-faster-path-to-more-gas-turbines-comes-with-pollution-problem/ Connie Loizos:https://techcrunch.com/author/connie-loizos/

Hugging Face正在销售一款可爱的399美元开源小鸭机器人,Microduck:https://techcrunch.com/2026/08/27/hugging-face-is-selling-a-cute-399-open-source-duck-robot-microduck/ Rebecca Bellan:https://techcrunch.com/author/rebecca-bellan/

Nvidia 接近收购 Hugging Face:https://techcrunch.com/2026/08/26/nvidia-closes-in-on-hugging-face-acquisition/ Connie Loizos:https://techcrunch.com/author/connie-loizos/

情报判断

Aioga 编辑摘要

据报道,OpenAI 新模型 Astra 将使用 recurrent depth,也称 opaque recurrence,使模型以循环方式多次处理同一查询,并留下较少可读痕迹。报道认为,这可能使链式思维更难监控;该技术在 Astra 中的使用似乎有限。

背景分析

通常情况下,推理模型的链式思维会呈现解决问题时的连续步骤,虽不完美,仍可作为监测模型行为的工具。opaque recurrence 采用较少线性的循环处理方式,可能减少传统链式思维记录中的可读痕迹。

Aioga 观点

Aioga 判断:来源呈现的是对监控难度的担忧,而非 Astra 已无法监控的事实。专家关注该技术若被进一步强化,可能削弱链式思维的可监控性;但材料同时称其当前使用似乎有限。

影响与后续

可能影响:若该技术被更密集地使用,链式思维监控可能面临更大挑战,需要结合更多安全监测机制。Astra 当前使用似乎有限,不代表其链式思维已经不可读,也不足以据此断定实际安全影响。 后续观察:应关注 OpenAI 对 Astra 使用范围、链式思维可读性及监控系统的后续说明,也需核查后续材料是否提供关于该技术实际安全影响的证据。

来源与版权说明

本页正文由公开来源页面提取并按原有信息整理,同时保留来源、发布时间和原文入口。版权归原作者及来源网站所有,请通过原文链接核验和阅读来源版本。

抓取通道: RSS · 原始域名: techcrunch.com

来源: TechCrunch:AI(RSS)

原文链接: 打开原始来源

Aioga 归档: 查看情报页

Content record: source-page · Updated: 2026-09-02T20:19:14.000Z

API 中转站
API RELAY · DEVELOPER INFRASTRUCTURE

API 中转站

统一接入主流 AI 模型 API,为开发、测试与生产环境提供稳定调用入口。

立即访问 api.w173.com
AIOGA SHARE POSTER

分享这篇 AI 情报

据 The Information 报道,OpenAI 新模型 Astra 将使用名为 recurrent depth(不透明循环)的推理技术,让模型以循环方式多次处理同一查询...

TechCrunch:AI(RSS)2026-09-02T20:19:14.000Z
扫码打开文章详情扫码直达文章详情

Aioga 自动聚合全球 AI 动态,并保留来源信息用于核验与引用。