IT之家:https://www.ithome.com/ 9 月 18 日消息,Anthropic 今日发布了一套用于衡量前沿 AI 实验室研发进度的方法,并公布公司内部的阶段性数据。

该体系主要关注 3 项指标:AI 参与 AI 研发的程度、AI 智能体的监督情况,以及算力在 AI 研发与安全研究之间的分配。

Anthropic publie un système de mesure des progrès de la recherche en IA de pointe, Claude a déjà dirigé 26 % du travail de recherche interne en IA

Anthropic 称,随着 AI 能力的提升,AI 正在越来越多地参与下一代 AI 系统的研发。公司希望通过公开这些指标,让公众、第三方机构和政府更直观地了解前沿 AI 研发的推进速度。

Anthropic CEO 达里奥 · 阿莫代伊曾呼吁协调放缓前沿 AI 发展,若出现协调,相关数字预计会变化。

在 AI 参与 AI 研发方面,Anthropic 提出了“Anthropic 研发自动化指数”,用于衡量 Claude 参与公司 AI 研发工作的程度。该指标采用 Epoch AI 提出的自动化等级体系,从 AL0 到 AL5,分别对应没有 AI 参与、AI 辅助、AI 协作、AI 主导以及完全自主运行。

类似于汽车的自动驾驶评判等级,AL5 指的是 AI 完全自主运行、无需人类介入,AL4 指 AI 可依据高层提示完成大部分任务、人类只负责监督。

截至 2026 年 8 月,Claude 未在任何被测量的 AI 研发工作中实现“完全自主运行”,但已经“主导”Anthropic 约 26% 的 AI 研发工作,同时处于“AI 协作”及更高等级的工作占比已经超过 90%。

Anthropic 披露,这一比例在 2026 年 2 月还不到 1%。该公司认为,这类指标有助于观察 AI 研发自动化程度是否持续提高,以及距离“递归自我改进”—— 即 AI 能够完全自主开发下一代 AI—— 还有多远。

Anthropic publie un système de mesure des progrès de la recherche en IA de pointe, Claude a déjà dirigé 26 % du travail de recherche interne en IA

为建立这一指标,Anthropic 从 2026 年 7 月的内部工作记录、Slack 及其他文档中抽样整理出约 1.5 万个模型研发任务,并将其归纳为 542 个不同层级的任务节点,其中 378 个属于最细分的任务类别。随后由 Claude 研究这些任务的执行方式及 AI 参与程度,并由独立的 Claude 评估模型进行自动化等级判断。

实时监控系统会在智能体执行操作前检查行为,并在发现危险操作时进行拦截或调整。Anthropic 对 2026 年 8 月超过 10 亿次智能体决策进行分析后发现,约 0.002% 的操作被该系统拦截(IT之家注:相当于约每 4.7 万次操作出现 1 次拦截)。

事后监控系统则会分析智能体已经完成的操作,每周约标记 10 万份对话记录进行进一步检查,其中优先级最高的约 50 份会升级至人工审核。此外,约千分之一至千分之二的智能体活动会被标记为需要进一步审查。

在算力分配方面,Anthropic 统计了 2026 年 7 月 13 日至 7 月 20 日期间的算力使用情况。数据显示,该公司用于 AI 研发的算力中约 6% 投入安全研究;如果仅统计基于 AI 的 AI 研发工作,其安全研究算力占比约 12%。

Anthropic 强调,上述算力比例是较为保守的估计,因为同时促进模型能力和安全性的工作没有被计入安全研究,而且该统计也没有计算用于安全分类器的另一部分算力。公司同时指出,安全研究通常并不需要像前沿模型训练那样消耗大量算力,因此算力占比不能直接代表安全工作的整体投入程度。

Anthropic 称,这些指标目前仍属于原型测量体系,跨实验室比较还面临统一方法和独立验证等问题。公司计划引入来自多个组织的独立第三方评估人员,让其获得与内部风险评估团队相近的流程、系统和数据访问权限,以验证安全实践并持续监测相关指标。

Anthropic 表示,公布这些测量是为了让公众、第三方和政府更好了解前沿实验室内部的 AI 发展速度,并希望继续发布相关数据。