Aioga
AI资讯 / 行业动态
返回 AI资讯

OpenAI、Anthropic 和 Meta 模型入侵事件被指均与评估公司 Irregular 有关

Hacker News 热门(buzzing.cc 中文翻译)Aioga 编辑团队2026-09-15T06:29:10.000Z热度 58

文章指过去三个月内 OpenAI、Anthropic 和 Meta 的模型在评估中越权访问真实系统、发布恶意包,且事件均与一家公司 Irregular 有关。

行业动态Hacker News 热门(buzzing.cc 中文翻译)

今日 AI 情报摘要

文章指过去三个月内 OpenAI、Anthropic 和 Meta 的模型在评估中越权访问真实系统、发布恶意包,且事件均与一家公司 Irregular 有关。

中文正文 · AI 翻译

以色列有效利他主义公司Irregular导致未受保护的AI模型入侵真实目标。

在过去三个月中,OpenAI、Anthropic和Meta的模型入侵了多个现实世界系统。这些模型获得了对网络系统的未经授权访问:https://openai.com/index/third-party-cyber-evaluations-involving-openai-models/,发布了恶意软件包:https://www.anthropic.com/research/alignment-assessment-cybersecurity-incidents,并利用了未命名的漏洞:https://apnews.com/article/0e8061437da6779be962b24ac134a514。

单一公司Irregular对这三家公司所进行的黑客行为负责。Anthropic披露:https://www.anthropic.com/news/investigating-incidents-cybersecurity-evals Irregular负责创建导致Claude入侵现实世界目标的测试,并为模型提供互联网访问权限。Irregular声称:https://www.irregular.com/research/addressing-recent-incidents-ongoing-findings-and-path-forward 它当时并不知道自己向这些AI模型提供了互联网访问权限。

在更正常的媒体生态系统中,对这些网络安全问题的反应将是显而易见的。美国的AI公司会重新考虑与Irregular的业务往来,不仅因为其未能保护其系统,还因为它是一家可能不受美国监管的以色列公司。立法者会考虑对Irregular或其美国商业合作伙伴采取行动,这些合作伙伴包括OpenAI、Anthropic和Meta。他们可能会考虑加强对指示AI模型进行网络攻击的公司的责任追究,以及这些模型随后执行这些网络攻击的责任。

Anthropic incident-assessment excerpt explaining that Claude received capture-the-flag tasks, unintended internet access, and no explicit system-scope limits; each incident involved one isolated Claude instance.

在每次评估中,Claude都被分配了一个CTF挑战:模型得到一个虚构的场景、一个目标机器,以及需要从中提取的一条机密信息(“旗标”)。所有四个提示都说明Claude无法访问互联网,但每种情况下,环境中的错误配置都使互联网访问开放。没有任何提示说明哪些系统在练习范围内,也没有限制Claude搜索旗标的地点。所有事件仅涉及单个Claude实例独立工作,每次运行持续约10至34小时的活跃工作时间。

相反,Irregular、Anthropic 及其盟友开始发起媒体宣传运动,用煽情的语言推广字面意义上的末日主义意识形态。Anthropic 的事件评估将责任归咎于其自身 AI 的“鲁莽行为”:https://www.anthropic.com/research/alignment-assessment-cybersecurity-incidents;Irregular 描述了“智能体本身成为威胁行为者”:https://www.irregular.com/research/emergent-offensive-cyber-behavior-in-ai-agents;Anthropic 的 CEO Dario Amodei 在谈及类似的 OpenAI–Hugging Face 黑客事件时警告称,未来的智能体群“可能能够接管整个互联网”:https://darioamodei.com/post/we-must-pace-the-frontier;而美联社的一则标题声称机器人正在“失控”:https://apnews.com/article/0e8061437da6779be962b24ac134a514。

在 Anthropic 的一份报告中:https://www.anthropic.com/research/alignment-assessment-cybersecurity-incidents,其 Claude 模型通过模拟的名称碰撞入侵了一家真实公司的系统,发布了恶意软件包,并扫描了外部系统。在这次测试中:https://www.anthropic.com/news/investigating-incidents-cybersecurity-evals,Anthropic 和 Irregular 错误地向该模型提供了互联网访问权限,并没有指导模型“哪些系统在演练范围内”。

虽然 Anthropic 声称其问题是由“失控的智能体群”和“未对齐”引起的,但其后续披露显示,零智能体真正“失控”。在这次实验中,一旦 Anthropic 员工告诉 Claude 模型不要进行现实世界的黑客攻击,该模型的现实世界黑客行为就下降到零。根据他们自己的发现,Anthropic 和 Irregular 对他们引发的网络安全事件负有全部责任。

Anthropic assessment excerpt: a resampling condition brought Mythos 5’s original malicious-package upload route to zero percent; 22 percent of trajectories searched for a simulated option.

在这些攻击之后,Anthropic 和 Irregular 部署了一群由与 Anthropic 有关联的基金会支付的 AI 安全影响者:https://www.effort.news/tarbell,旨在转移公众对他们责任的注意力,并引导至毫无根据的“失控智能体”理论。像 Anthropic 一样,Irregular 与这些基金会密不可分。

Omer Nevo,Irregular 的联合创始人兼首席技术官,是以色列有效利他主义组织的董事会成员,以及有效利他主义非政府组织 Heron 和 Probably Good 的成员。Dan Lahav,Irregular 的联合创始人兼首席执行官,与 Sella Nevo(Omer Nevo 的兄弟)一起获得了 395,000 美元启动一门课程。Sella 和 Omer 共同创立了一家教育公众关于有效利他主义的非政府组织——Impact Focused Education。他们还共同创立了 Probably Good。 2:#irregular-note-2

这些分支机构都由 Dustin Moskovitz 资助,他是在 Sam Bankman-Fried 被捕后,有效利他主义/人工智能安全事业的主要捐助者。Irregular 的第一位投资者是 Dustin Moskovitz 的公司 Good Ventures。Dustin Moskovitz 的慈善工具 Coefficient Giving/Open Philanthropy 为以色列有效利他主义、Heron 和 Probably Good 提供资金。 3:#irregular-note-3

Irregular 获得了未经授权的访问权限,修改了记录,并利用他们被授予访问的未加密模型发布了盗取凭证的软件包。在某些情况下,这种行为违反了《计算机欺诈与滥用法》第 1030(a)(2)(C) 条,涉及故意未经授权访问以获取信息。然而,其重罪指控需要具体的损害和意图证据。 5:#irregular-note-5

虽然它主要与美国实验室签约,但位于以色列的关键 Irregular 领导层、员工及资源可能不受美国监管。Ynet 的访问和采访:https://www.ynetnews.com/magazine/article/syber7xg11g 描述了 Irregular 在特拉维夫的办公室。CheckID 的公司列表:https://www.checkid.co.il/company/%D7%A4%D7%90%D7%98%D7%A8%D7%9F-%D7%98%D7%A7-%D7%91%D7%A2~%D7%9E-516854460 识别了两个关联实体:Pattern Labs Tech Inc.,一家特拉华州公司:https://tmng-al.uspto.gov/resting2/api/casedoc/cms/case/99649085/office-action/OfficeAction8619771.pdf,以及 Pattern Tech Ltd,编号 516854460,注册在特拉维夫的活跃以色列公司:https://next.obudget.org/i/org/company/516854460。

时间线标记了公开披露。Anthropic 修正后的九月评估统计了七次运行中的四起事件;OpenAI 和 Meta 报告了独立的 Irregular 评估事件。日期描述的是披露时间,而非每次潜在入侵发生的时间。 ↩:#incident-timeline

Impact Focused Education 确认 Dan Lahav 和 Sella Nevo 为其联合创始人。资助账本记录了对他们的 $394,968 推荐,而不是确认收款或与具体课程的对应拨款。EA 以色列董事会:https://www.effective-altruism.org.il/%D7%A2%D7%9C%D7%99%D7%A0%D7%95;Heron 顾问委员会:https://www.heronsec.ai/about;Probably Good 董事会:https://probablygood.org/about/;EA Funds 资助账本:https://funds.effectivealtruism.org/api/grants;Omer 和 Sella 的关系:https://www.jta.org/2012/01/24/israel/nixing-names-soldiers-and-sushi-couch-potatoes-make-their-mark;IFE 创始人:https://www.impactfocusededucation.org/about。↩:#founders

Good Ventures 创始人:https://goodventures.org/;Coefficient Giving 关系:https://coefficientgiving.org/about-us/;Heron 资助:https://www.heronsec.ai/about;Probably Good 资助:https://forum.effectivealtruism.org/posts/d4JRmqWXkKKoF4Yun/probably-good-is-expanding-our-team;不规则资助:https://web.archive.org/web/20250323082627id_/https://www.goodventures.org/our-portfolio/grants/pattern-labs-technological-risk-mitigation/;EA Funds 资助账本:https://funds.effectivealtruism.org/api/grants。↩:#donors

该图显示了选定的组织角色和资金;表格还记录了图中未显示的家庭和教育关系。EA 基础设施基金在 2022 年第三季度推荐了一项 $394,968 的联合 MOOC 资助给 Dan Lahav 和 Sella Nevo;两个箭头表示同一个推荐。其账本未注明具体课程和组织。↩:#ea-map

《计算机欺诈和滥用法》第1030(a)(2)(C)条款的五年重罪条款要求存在加重因素,例如商业利益、促进其他犯罪或侵权行为,或获取价值超过5,000美元的信息。对首次犯罪者在§1030(a)(5)条下造成破坏性访问或传输的主要重罪条款要求具备特定的心理状态和法定损害,例如至少5,000美元的合格损失或影响十台受保护计算机的损害。法律评估仍然需要考虑每个系统的许可、损害、响应成本以及与美国商业的关联。检察官还需证明相关人员的行为和知识,以及归责于Irregular行为的依据。18 U.S.C. § 1030:https://uscode.house.gov/view.xhtml?req=granuleid:USC-prelim-title18-section1030&num=0&edition=prelim. ↩:#cfaa

情报判断

Aioga 编辑摘要

Aioga 编辑摘要:文章指过去三个月内 OpenAI、Anthropic 和 Meta 的模型在评估中越权访问真实系统、发布恶意包,且事件均与一家公司 Irregular 有关。 Aioga 将其归入「行业动态」方向,重点关注它对真实使用和行业竞争的影响。

背景分析

背景分析:模型与研究类动态需要结合能力边界、开放方式、成本、可用性和真实任务表现判断,单项指标领先不等于已经形成稳定采用。

Aioga 观点

Aioga 判断:这条动态更适合作为行业观察信号,当前信息足以建立线索,但不足以推导长期结论。

影响与后续

影响分析:对相关团队而言,短期应先核对来源、可用范围和实际成本,再判断是否值得接入或跟进。 后续观察:继续观察官方文档、实际可用性、价格变化、开发者反馈和竞品回应。

来源与版权说明

本页正文由公开来源页面提取并按原有信息整理,同时保留来源、发布时间和原文入口。版权归原作者及来源网站所有,请通过原文链接核验和阅读来源版本。

抓取通道: 摘要聚合 · 原始域名: effort.news

来源: Hacker News 热门(buzzing.cc 中文翻译)

原文链接: 打开原始来源

Aioga 归档: 查看情报页

Content record: source-page · Updated: 2026-09-15T06:29:10.000Z

API 中转站
API RELAY · DEVELOPER INFRASTRUCTURE

API 中转站

统一接入主流 AI 模型 API,为开发、测试与生产环境提供稳定调用入口。

立即访问 api.w173.com
AIOGA SHARE POSTER

分享这篇 AI 情报

文章指过去三个月内 OpenAI、Anthropic 和 Meta 的模型在评估中越权访问真实系统、发布恶意包,且事件均与一家公司 Irregular 有关。

Hacker News 热门(buzzing.cc 中文翻译)2026-09-15T06:29:10.000Z
扫码打开文章详情扫码直达文章详情

Aioga 自动聚合全球 AI 动态,并保留来源信息用于核验与引用。