Aioga
AI资讯 / 论文研究
返回 AI资讯

Schema Harness 在 ARC-AGI-3 公开集上取得约 99% 成绩

Hacker News 热门(buzzing.cc 中文翻译)Aioga 编辑团队2026-07-17T08:41:53.383Z热度 78

Schema 框架在 ARC-AGI-3 公开集上,使用 Claude Opus 4.8 和 Fable 5 达到 99% RHAE 分数,使用 GPT-5.6 Sol 达到...

论文研究Hacker News 热门(buzzing.cc 中文翻译)

今日 AI 情报摘要

Schema 框架在 ARC-AGI-3 公开集上,使用 Claude Opus 4.8 和 Fable 5 达到 99% RHAE 分数,使用 GPT-5.6 Sol 达到 95.35%。

该框架不修改模型权重,而是将原始观测转化为可编辑程序,联合解决状态归因和机制发现问题。 此前最强模型 GPT-5.6 Sol 在半私有集上仅得 7.78%。

中文正文 · AI 翻译

ARC‑AGI‑3 给代理提供一个游戏环境,但不解释它所看到的内容。在每一步,代理会收到一个 64×64 的 16 色索引网格和一组合法动作。环境不会提供任何对象列表、规则表、明确目标或塑形奖励。只有一种方法可以取得进展:物理学家的方法。代理必须在对游戏的模型仍处于暂定状态时采取行动,形成假设:网格代表什么、动作如何改变网格以及什么算作成功,然后随着新观察的到来不断修正其模型和计划。

ARC‑AGI‑3 对前沿模型来说证明异常困难。其官方指标,Relative Human Action Efficiency (RHAE):https://arcprize.org/media/ARC_AGI_3_Technical_Report.pdf,将代理每关的动作次数与首次接触的人工基线进行比较,并在各个环境中聚合结果;100% 意味着在所有环境的每一关中,动作效率达到或超过人类基线。在半公开集合上,经验证的前沿模型表现从 3 月推出时的 0.51%:https://arcprize.org/blog/arc-agi-3-launch 提升到 7.78%,使用 GPT‑5.6 Sol 最大推理能力:https://arcprize.org/results/openai-gpt-5-6 在 7 月份。Sol 在公共集合上的得分为 13.33%,但仍远低于人类参考值。

Schema 是我们今天引入的工具,在公共集合上使用 Claude Opus 4.8 和 Fable 5 达到 99%,使用 GPT‑5.6 Sol 达到 95.35%:https://huggingface.co/datasets/schema-harness/arc-agi-3-schema-traces。它不改变底层模型的权重,而是改变围绕模型的过程:如何将观察转化为游戏的工作模型、如何将预测与交互历史进行检验,以及如何执行和修订计划。

这两个分数都来自一个固定的回退规则:首先运行 Opus 4.8 和 Sol xhigh;若游戏得分低于 80,则分别使用 Fable 5 和 Sol max 重新运行,并保留每个游戏得分较高者。

结论:如何使用模型非常重要。本文的其余部分展示了该方法的安排。

Schema像物理学家一样思考。在物理学家能够写下一个定律之前,他们必须决定这个定律关于什么。观察中的哪些部分是对象?哪些属性定义了状态?只有这样,他们才能问这个状态如何变化。Schema将这些问题形式化为两个问题。状态基础化将原始观察转化为可以追踪的对象、变量和关系。机制发现则找到状态在动作下如何变化,并将规则写成可执行程序。我们之前的系统VIGA:https://fugtemypt123.github.io/VIGA-website/ 专注于第一个问题。通过与图形引擎的分析-合成方法,它从比ARC网格丰富得多的连续视觉输入中恢复场景程序。其他系统如WorldCoder:https://arxiv.org/abs/2402.12275 则专注于第二个问题:它们从轨迹中学习转移程序,但以已有的结构化状态表示为起点。我们认为,这两个问题必须联合解决,让智能体构建状态表示和转移规则。

状态基础化和机制发现不能独立解决。一个起初看似合理的状态表示,可能在没有一致的转移规则解释后续实验结果时证明是不充分的。在Schema中,状态表示和转移规则被联合编码在同一个可编辑程序中。当观察结果与预测不符时,智能体可以修改表示或规则,然后更新另一个以恢复一致的模型。这与物理学家的工作方式相呼应:当预测持续失败时,他们不仅仅调整定律,而是改变状态的定义。最清楚的例子是狭义相对论的诞生。当迈克尔逊和莫雷无法检测到光应传播的媒介时,洛伦兹走了第一条路:保留以太,通过收缩假设修补规则以吸收空结果。爱因斯坦走了第二条路:在狭义相对论中,他将以太从状态中剔除,使同时性相对于参考系,从而产生一个简单的运动体电动力学。

ARC‑AGI‑3要求代理从原始观测中构建两个层。网格既不标识物体也不标识目标,因此代理必须决定哪些模式对应实体,如玩家、墙壁和柜台,推断动作如何改变它们,并确定哪些配置算作进度或完成。即使是目标谓词——在Schema中实现为is_goal——也必须通过交互来推断。

完整指标。官方ARC‑AGI‑3使用“相对人类动作效率”(Relative Human Action Efficiency,RHAE)评估性能:https://arcprize.org/media/ARC_AGI_3_Technical_Report.pdf,该指标比较代理完成每个关卡所用的动作数与人类首次完成关卡的中上数动作数。每个关卡的得分为(human actions ÷ agent actions)²,最高不超过1.15。在每个游戏中,关卡赋予的权重从1到n递增,因此后续关卡对游戏总分的贡献更大。基于相同权重的完成上限防止游戏在未完成每个关卡的情况下得到100%。基准分是游戏分的平均值。所有环境动作,包括探索性动作,都计入代理的总数;由于效率比被平方,额外动作会显著降低分数。因此,98.98% 是完成度和动作效率的综合衡量,而非解决游戏的百分比。

Claude行(图5)提供了与相同的Opus 4.8和Fable 5配对的对照比较。将最终Claude Code scratch快照视为基线输出,得分为42.83%;使用Schema,同样的配对达到98.98%,提升了56.15%。

在Sol xhigh和Sol max备用配对下,Schema达到95.35%。最近的官方参考并非匹配的控制比较:根据ARC Prize报告,最佳单个变体Sol max,在公开数据集上的得分为13.33%,在半公开数据集上的得分为7.78%:https://arcprize.org/results/openai-gpt-5-6。图表中显示的82.02%公开集差异因此是情境性的,而非Schema带来的增益的控制估计。

受控的Claude比较强调过程差异,而非底层模型能力的不同。Claude Code为文件操作和长上下文管理提供了强大的通用框架。原则上,它可以模仿Schema的工作流程,但模型并不必须这样做。在通用框架下,模型直接作用于游戏,并可能将其信念隐含在上下文中。而Schema则强制执行三个约束:

在这种受控配置下,Schema的框架比Claude Code基准提升了56.15%。

验证状态。98.98%和95.35%的分数是对公共集自报的结果,计算基于本文发布的运行工件。ARC Prize尚未对这两个分数进行独立验证。

公共集能说明多少?此处每个Schema数值都是在25个公共游戏上测得的。Sol max在评估集之间提供了一个官方校准点——公共集13.33% 对半私有集7.78%——但这并不意味着可以数值外推接近满分的公共集分数。98.98%的公共集分数在半私有集上的映射尚不清楚,需测量才能确定。现有工件仅记录公共集运行,因此本草稿没有提出固定框架或保留表现的声明。

配对统计。在保留的Claude结果中,14个游戏使用Opus运行,11个游戏使用Fable运行。14个Opus运行中有13个、11个Fable运行中有6个得分正好为100,总计19个游戏得分为100。在保留的Sol结果中,15个游戏使用xhigh运行,10个游戏使用max运行。所有15个xhigh运行得分为100;在10个max运行中,5个得分100,5个低于100。

残差集中。Claude配对总体下落1.02%未达到100。19个游戏得分正好为100,其余6个游戏得分在89.87到99.10之间;中位游戏分数为100。Sol配对的中位游戏分数也为100:20个游戏得分正好为100,其余5个游戏分数在60.93到87.80之间。

在 25 场比赛中,有 14 场比赛中代理诱导出了一个完整重现其记录历史的程序世界模型,它使用的动作比人类参考少 1.6–5.0 倍。原因在于动作分配的变化:代理只需要使用真实动作一次来发现机制,然后在模型内部免费计划,而不是通过反复试验重新发现机制。这依赖于两个能力:

A. 对完整历史进行验证。每个真实的转变都会被记录,并且 run_backtest 会将每个候选规则与整个记录进行检查,而不是依赖记忆。由于记录会超越有限的工作记忆和自动压缩的上下文窗口,认证后的模型可以替代进一步的真实环境测试。

B. 在可重用的模拟器中进行规划。一旦 step() 和 is_goal() 获得认证,广度优先搜索可以在不消耗任何环境动作的情况下探索 10^3–10^4 个建模状态。而且由于模型以代码形式存在,这种免费规划可以在后续每一层重复进行。

收益在人的难点处最为明显:在 M0R0 第 4 关,代理只需 42 次动作,而人类需 500 次,这与只支付一次发现成本并随后在模型中重新计算计划的情况一致。下面每个可展开项都是一个支持该模式的游戏层案例。

世界模型的优势只有在模型正确时才会显现。下面的回放显示代理从试错探索转向经过验证的 94 动作计划。

在转折前,代理处于劣势。在第 2–4 关,它花费的动作比第一次玩的人类还多,因为它将方块视为一个直接操控的物体。新的观测不断与此模型相矛盾,而每一次矛盾都会迫使进行更多真实世界实验。

扭转局面在于表示的改变。代理承认,“我对方块模型完全错了”,并用携带状态规则替代:方块在化身的携带状态改变时移动。每关的误预测从几十次降至 4 次,这是模型现在能够解释交互历史的操作信号。

转折之后,相同的模型会进行迁移。在第5、8和9关,智能体使用的动作大约为人类的四分之一到六分之一,而在人类认为最难的关卡上,它搜索修正后的模型,提交经过验证的94步计划并执行。回放显示的是重用,而非重新发现。

RE86 展示了一个游戏中的完整序列:run_backtest 会在每个记录的转换上重放模型,然后经过验证的模型提供一个计划,在无需额外试验和错误的情况下完成整个关卡。

KA59 分离了记忆优势:来自两次完整运行的精确记录显示,一个看似成功的规则只是巧合符合。

M0R0 分离了规划优势:一旦模型是精确的,解决方案就在模拟器内部搜索,而不是通过进一步的现实环境试验发现。

为了理解在相同可执行框架下模型选择如何影响世界模型的发现,我们比较了 Schema 使用 Opus 4.8 Max 与 Fable 5 在两个模型都尝试过的游戏上的表现。Fable 在这些游戏中以两种方式实现了更高的 RHAE:在某些游戏中,它发现了一个可以完成 Opus 无法完成关卡的模型;在其他游戏中,两个模型都完成了,但 Fable 用更少的环境动作达到了相同的终点。

配对轨迹表明了一个常见的解释。在一次失败的预测之后,Fable 更常质疑当前的表示本身,识别关键的不确定性,并选择一个其可能结果能够区分竞争假设的交互。然后它将观察结果转换为可重复使用的转换规则。Opus 通常最终也会发现相同的机制,但只有在花费更多动作测试现有表示中的替代目标、条件或配置之后。

匹配完成的案例尤其有启发性:因为 Opus 最终编码了相同的机制,动作差异不能简单地通过一个模型能够表达规则而另一个不能来解释。差异在于发现过程——质疑什么、运行哪个实验以及何时将结果转化为可执行代码。

Fable首先质疑表示方式。它进入关卡时将棋子视为不可点击的装饰。当棋盘满足当前目标逻辑但未推进时,Fable测试更基本的可操作性问题:所谓的线索本身能否被操作?探测显示了一个关灯式的十字按钮,可以翻转自身及其正交邻居。Fable将这一观察转化为代码,11步操作后清除,并在第13步解决下一个关卡。

Opus对目标进行了更长时间的修复。它注意到同样的矛盾,但继续测试目标状态的替代解释,大约又进行了240个操作。在第287步,它最终探测棋子,记录相同的隐藏机制,并将模型修订为270/270的精确回测。两个模型都可以表达和使用规则;区别在于它们选择使缺失可操作性显现的实验的速度不同。

将两段回放一起阅读。左侧轨迹显示Fable从失败的目标测试到可操作性探测再到模型修订。右侧轨迹显示Opus在模型内搜索更长时间后收敛到相同规则。247步的里程碑差距是发现成本,而不是最终机制的差异。

Opus构建了一个详细的移动和三种切换的模型。从全新重置开始,BFS随后穷尽了该模型中可以到达的每个状态,并正确地得出目标无法达到。Fable揭示了模型图中缺失的一个转换。

两个模型都识别了独立棋子游戏,并学会了推车沿轨道移动。决定性问题在于两种机制如何组合。Fable首先排除了有用的互动,然后将推车驱动到精确对接坐标,并将该时刻视为观察点。

两个模型在第1关后都发现了类似DFS的规则,并最终解决了所有八个关卡。这对比区分了“陈述一般想法”和维护可复用的代码化抽象以吸收后续变化。

总结。执行环境和底层模型在不同阶段影响效率:

可执行执行环境降低了使用理论的成本。它使理论持久化、可精确验证且可搜索。这就是相对于人类参考观察到的效率模式的来源。

基础模型决定了发现有用理论的成本。成对运行有时会通过显著不同的轨迹收敛到相同的表示。Fable 更常在更早阶段进行决定性的表示修正,因此通过更少的环境操作就能达到可执行的解决方案。

搜索只相对于它所操作的世界模型才是完整的。一旦缺失的对象、状态变量或转移被表示出来,现有的验证器和规划器通常就足够了。如果观察无法区分正确的表示,同一套机制也能验证并穷尽搜索错误的表示。

ARC‑AGI‑3 是一个快速发展的领域中的重要基准。当它在三月推出时,领先的前沿智能体仅得 0.51% 的分数。到七月,官方最佳 Sol Max 结果在公共集上已达到 13.33%,在半私有集上达到 7.78%,而自报结果的平均每局 RHAE 最高达到 58.12%。

我们自报的 98.98% 延续了这一趋势,而不是偏离它。关键要素已经显现:能够适应新环境的前沿模型、编码智能体的工具,以及程序化的世界模型。Schema 是将它们整合在一起的系统。

我们将饱和的 ARC‑3 解读为新的起点:将机制发现视为一种通用能力——通过智能体的行动与感知循环为世界建立因果结构基础,其环境远比 64×64 的网格丰富。这正是我们的前进方向。

情报判断

Aioga 编辑摘要

项目材料称,Schema 在 ARC-AGI-3 公开集上采用固定回退规则后,Claude Opus 4.8 与 Fable 5 组合取得 99% RHAE,GPT-5.6 Sol 组合取得 95.35%。

背景分析

ARC-AGI-3 要求智能体从无对象列表、规则说明和明确目标的网格环境中边行动边推断机制。材料称,GPT-5.6 Sol 此前在半私有集得分为 7.78%,在公开集为 13.33%。

Aioga 观点

Aioga 判断,这组结果主要展示了模型外围推理流程的重要性,而非模型权重本身的提升。Schema 将状态归因与机制发现共同编码为可编辑程序,并在预测冲突时修订表示或规则。

影响与后续

该结果可能表明,在交互式抽象推理任务中,观测结构化、可执行机制建模及持续校正会显著影响现有模型表现。值得关注的是,公开集成绩不能直接代表半私有集或其他任务上的泛化能力。 下一步应关注相同流程在半私有集上的验证结果,并核查固定回退规则、逐游戏保留较高分的评测方式及完整轨迹。还需比较单次运行、不同模型组合与不采用回退策略时的成绩。

来源与版权说明

本页正文由公开来源页面提取并按原有信息整理,同时保留来源、发布时间和原文入口。版权归原作者及来源网站所有,请通过原文链接核验和阅读来源版本。

抓取通道: 摘要聚合 · 原始域名: schema-harness.github.io

来源: Hacker News 热门(buzzing.cc 中文翻译)

原文链接: 打开原始来源

Aioga 归档: 查看情报页

Content record: source-page · Updated: 2026-07-17T08:41:53.383Z

API 中转站
API RELAY · DEVELOPER INFRASTRUCTURE

API 中转站

统一接入主流 AI 模型 API,为开发、测试与生产环境提供稳定调用入口。

立即访问 api.w173.com
AIOGA SHARE POSTER

分享这篇 AI 情报

Schema 框架在 ARC-AGI-3 公开集上,使用 Claude Opus 4.8 和 Fable 5 达到 99% RHAE 分数,使用 GPT-5.6 Sol 达到...

Hacker News 热门(buzzing.cc 中文翻译)2026-07-17T08:41:53.383Z
扫码打开文章详情扫码直达文章详情

Aioga 自动聚合全球 AI 动态,并保留来源信息用于核验与引用。