人工智能在测试中几乎拿到满分，接下来还能用什么来考验它？
GPT-6 Astra出现后，在ARC-AGI-3半私有测试集上取得了99.9%的成绩。
用OpenAI自己的表述来说，这一结果已经彻底“饱和”。
没想到，它的亮相直接导致ARC-AGI原定计划全部报废。
预先设计好的ARC系列，必须重新制定题目。
就在今日，ARC Prize创始人François Chollet正式公布了下一代评测蓝图：
ARC-AGI-4确认将于明年第一季度如期推出，而更具颠覆性、甚至被称作“人类最后考卷”的ARC-AGI-5也已全面进入规划阶段。
ARC 4将聚焦于更长时间尺度上的持续学习与课程学习；ARC 5则完全围绕“发明”展开。
他甚至表示，“当AI的学习效率与人类之间不再存在可客观测量的差距时，那就是真正的AGI时刻”。
GPT-6 Astra在ARC-AGI-3上的表现，是2026年AI领域最具戏剧性的一幕。
在ARC Prize的“标准测试框架”下，Astra获得了62.7%的成绩。
这一分数自然是历史最高，但距离满分仍有较大距离。
然而，当OpenAI接入自家的Provider Adapter时，同一个模型的得分直接飙升至99.9%。
这是一种能在多次调用之间保留模型隐藏推理状态的上下文管理适配器，可以让AI以更接近生产环境的方式连接能力插件。
结果是：同一套权重，同一组题目，得分相差36个百分点。
ARC-AGI-3排行榜的含金量因此被重新审视，争论焦点从“哪家模型泛化能力更强”转变为“哪个测试框架更公平”。
这不是个例。Claude Opus的同一套权重，在ARC-AGI-3私有集上验证为30%，换用更优的测试框架后达到95.5%。
英伟达的AVO，甚至在公开演示集上拿到100%。
ARC-AGI-3的“饱和”，更像是一个评测工程学事件。
前两代ARC-AGI-1和ARC-AGI-2，核心仍是“看图找规律”。
系统给出几组“输入→输出”的小方格图，AI猜测规则，再画出新一组的输出。
这是静态题，答案唯一，依赖的是“看几个例子就能归纳出规则”的能力。
到了ARC-AGI-3，测试方式被彻底改变。
它直接将AI放入一个游戏世界，在超过1000个关卡中，让它自主游玩、自主尝试、自主寻找规则。
每个游戏都有其内在逻辑、隐藏规则和通关条件。
没有说明文档，没有自然语言提示，也没有人告诉你“收集三个红色方块就能过关”。
AI只能看到当前画面，选择一个动作，观察结果，再决定下一步。
就像盲人摸象一样，一步步试探，在大脑中拼凑出“这个世界可能是这样运作的”模型。
ARC Prize团队明确列出了这一基准要测试的四件事：探索；建模；目标获取；规划与执行。
GPT-6 Astra在96%的关卡中，用比人类中位数更少的步数完成任务，平均每关少用51.7%的动作。
ARC Prize称这是“阶跃式的能力变化”，但同时强调：基准饱和并不等同于证明了AGI。
因为这些环境是“有界”且确定性的，并非开放式的。
按照原计划，ARC 4将延续ARC 3的精神，但更侧重于更长时间尺度上的持续学习和课程学习。
每个游戏的关卡数量更多，而且关卡是“复利”的，每一关都必须复用前面关卡学到的知识。
现在，Chollet将“开放式发明”纳入了ARC 4和ARC 5共同的研发基础。
那么，“考发明”究竟如何出题？
ARC 1到3都有一个共同前提：存在一个“正确”的答案或一个“获胜”的状态，而且人类第一次上手就能做到，这样才能用人类作为衡量标准。
ARC 3的整套人类基线，就是通过那486个人、2893次尝试测量出来的。
发明的定义本身就包含“以前没有”，没有标准答案，也就没有现成的人类基线可供参考。
你无法说“人类发明这个东西用了多少步”。那么接下来，具体该如何衡量？
一条可能的路径是回到Chollet对智能的“定义”：智能不是掌握多少技能，而是获取新技能的效率。
如果沿着这条思路，发明可以量化为——AI创造出的那个新工具、新规则、新符号，是否能让后续问题解决得更快。
Astra为游戏编写速记符号，其实已是这一动作的雏形。它发明了一种中间表示，并借此节省了一半的步数。
下一张考卷，ARC 5很可能将这件事变成“考题本身”。
值得一提的是，ARC系列的考题，大概会在第6代、第7代终结。
Chollet曾表示，只要还能提出“人类能做、AI不能做”的事情，就继续出题；
等到提不出来了，等到人类的学习效率与前沿AI之间的差距已无法测量，那个时刻就是AGI。
AI进步太快，留给一张评测证明自己“足够难”的时间，正在被压缩。
一道难关刚被攻克，出题人就必须寻找下一道。
分数逼近天花板后，原来的考卷也越来越难以分辨：AI究竟又强了多少，人类还领先在哪里？
沿着这一趋势看，ARC 5瞄准“发明”，很可能是在提前寻找一道更难被刷穿的考题：
让AI走出预设解法，创造出能被验证、能继续复用的新东西。
这道题能守住多久，目前无人知晓。
但如果连开放式发明也无法再拉开人机差距，“考无可考”就会从一句感叹，变成AGI讨论中无法回避的问题。
AI还在加速，人类还能出几张考卷？
https://x.com/FakePsyho/status/2099086728963207537?s=20
本文来自微信公众号“新智元”，作者：桃子，36氪经授权发布。想了解更多关于AI评测的动态，可访问球盟会官网入口。