机器之心剪辑部

跟着大言语模子平缓进入复杂推理、自动化有计划和采集安全等高难度任务，传统的模子评测神色正在濒临新的挑战。

遥远以来，模子发布不时伴跟着一张由多项基准测试组成的收成表：数学、编程、科学问答、采集安全、常识推理等本领被压缩为若干分数，并据此与上一代模子进行横向比较。

OpenAI 有计划员 Noam Brown 近日撰文指出，当模子能够在酬报问题时使用更多推理本领、调用更多器具或扩充更永劫期的搜索与试验后，单一分数已越来越难以准确反馈模子的本色本领。

Brown 的中枢不雅点是：大模子的发扬不仅取决于模子自己，也越来越取决于模子在推理阶段得回了若干操办资源。异日评估模子时，不可只问「模子得了若干分」，还鄙俚复另一个问题：模子是在消费若干 token、若干用度和多长运行期间的前提下，得回这一收成的？

他建议，行业应当从「单点收成」转向「性能—推理操办量弧线」，并将推理预算视为模子本领评估和东说念主工智能安全战略中的基础变量。

新模子的本领差距，可能被传统收成表低估

Brown 以 GPT-5.5 发布后的市集反应为例，阐发传统模子排名榜的局限性。

按照他的描摹，GPT-5.5 发布初期，外界最先细心到的是一组并不算非常显眼的基准测试收成。与 GPT-5.4 比较，新模子的分数有所提高，但从惯例收成表看，提高幅度似乎有限。部分用户因此对新版块执不雅望致使质疑魄力。

但在模子洞开使用后的数小时内，跟着开辟者和有计划东说念主员开动测试更复杂的任务，一些用户发现，GPT-5.5 在长链条推理、执续扩充和复杂问题处理方面发扬出愈加显着的代际各异。Brown 以为，这种「本色体验显着增强、榜单分数却变化有限」的时势，反馈出传统评测莫得完整呈现模子本领。

问题在于，不同模子的评测休止只怕修复在疏导的推理预算之上。

在传统评测框架中，有计划者不时会为每个模子遴荐一套能够尽可能提高收成的测试成立，再将最终分数放入并吞张表格。这种神色看似公道，但可能粉饰一个要害变量：某些模子不错在得回更多推理 token、更多调用次数或更长运行期间后，连续权臣提高发扬；另一些模子则可能较早触及性能上限。

Brown 展示的采集安全评测案例标明，如若只比较各模子在所谓「最大测试时操办量」条目下的最终收成，GPT-5.5 相较 GPT-5.4 的上风可能并不隆起。但如若将 token 数目、推理资本或延迟限度在疏导水平，再不雅察不同模子的发扬，GPT-5.5 的本领提高会愈加显着。

换言之，模子间的差距不仅体当今最终分数上，也体当今其诈欺非常推理操办量的成果上。

为什么不可简短地「跑到性能不再提高为止」

一种直不雅的惩办有缱绻是：为每个模子执续增多推理资源，直到其发扬进入平台期，再比较各自的最高本领。

Brown 以为，这种念念路在实践中只怕可行。原因是，关于新一代模子而言，性能平台期可能远比预期更晚出现，致使在施行可承受的预算范围内难以不雅测。

他援用了 Andrej Karpathy 发起的自动化有计划实验当作例子。在相干实验中，模子执续扩充大批试验后，性能仍然保执改善趋势。即使实验次数达到数百次，提高弧线也莫得十足趋于平缓。

Brown 同期提到英国东说念主工智能安全有计划所（AI Security Institute）的采集安全评测休止。在该评测中，包括 Mythos 和 GPT-5.5 在内的部分模子，在累计使用高出 1 亿 token 后，任务发扬仍然连续提高。

这一时势意味着，在复杂任务上，模子能够诈欺越来越长的运行期间和越来越大的推理预算，执续探索、试错和修正策略。更强的模子不仅起原更高，还可能更擅长将非常操办资源回荡为灵验本领。

Brown 据此揣摸，跟着模子本领提高，其可灵验运行的任务周期也会延长。往常，开云体育中国官方网站入口东说念主们概况不错在相对有限的预算下不雅察到模子性能趋于自若；异日，性能上限可能被不时推远。在某些任务中，所谓「平台期」致使可能不再是一个容易测量的景象。

从单一分数转向「性能—资本弧线」

面对这一变化，Brown 建议，模子发布机构应蜕变基准测试的呈现神色。

与其只公布一个最终分数，不如在横轴上标注推理操办量，在纵轴上展示任务发扬，绘画完整的性能变化弧线。横轴不错秉承 token 数目、推理用度或本色运行期间等方针。

这种方法能够酬报传统收成表难以证明的问题。举例，在疏导预算下，哪个模子发扬更好？当预算增多十倍时，哪个模子提高更快？模子是否也曾接近本领上限？不同模子的资本效益怎样变化？

当前，部分基准测试也曾开动秉承访佛方法。Brown 提到，ARC-AGI 等评测已尝试计算模子分数与运行资本之间的关系，而不是只发布单一收成。

另一种可行有缱绻，是为评测设定明确的 token、资本或期间收尾，并提前将预算信息示知模子。这种神色访佛于东说念主类参加圭臬化考试：无论是好意思国大学入学考试 SAT，如故海外数学奥林匹克竞赛，参赛者齐需要在固定期间内完成任务。模子本领也不错在和谐敛迹下进行比较。

不外，Brown 同期指出，不同方针齐有局限。

token 数目只怕能够平直跨模子比较，因为不同模子使用的分词器、生成速率和单元 token 资本可能存在各异。用度受到硬件诈欺率、批量处理神色和工程终了的影响。运行期间相通不是完好方针，因为「多智能体合作」或 best-of-N 等技能不错并行生成多个候选谜底，在权臣增多共操办量的同期，不一定显着增多用户感受到的恭候期间。

尽管如斯，他以为，上述方针中的任何一种，齐比脱离推理预算的单一分数更具信息量。

推理预算问题正在延长至东说念主工智能安全评估

Brown 的询查并不限于模子排名榜。他以为，2026世界杯赛事竞猜官方版推理预算还会平直影响前沿模子的安全不竭。

在前沿东说念主工智能模子发布前，研发机构常常会对采集袭击、生物风险、化学风险和其他潜在花费本领进行评估。如若模子达到某一风险阈值，研发机构可能需要推迟发布，或在部署前增多拜谒收尾、监控机制和其他缓解设施。

问题在于，如若模子本潜入跟着推理操办量增多而提高，那么安全评估应当使用多大的推理预算？

在施行中，肤浅用户可能只会为一次任务参加几好意思元或几十好意思元。但一个资金充足的组织、专科团队或国度级行动体，可能快意为单一方针参加远高于肤浅用户的资源。如若评测机构只在较低预算下测试模子，就可能低估其在高资源条目下的风险本领。

Brown 以 Gemini 3 Deep Think 发布后的争议为例。他指出，Deep Think 的基准测试收成权臣高于此前模子，但发布时莫得同步提供针对该版块风险本领的完整系统卡。这一作念法激勉部分东说念主工智能安全有计划者月旦。

不外，在 Brown 看来，争议背后还有更深层的问题：东说念主工智能企业和安全机构尚未造成一套自若的方法，用于评估不同推理预算下的模子本领。

他揣摸，Deep Think 可能并不是一个十足孤独教训的新模子，而是基于其他已有模子构建的一套推理脚手架系统。此类系统不错通过屡次调用模子、并行生成候选休止、自动考验谜底和迭代修正等神色，提高复杂任务发扬。

如若这一判断陶冶，那么 Deep Think 所展示的部分本领，表面上并非只消平台自身能够终了。外部开辟者只消快意参加弥散高的推理用度，也可能通过组合屡次模子调用，构建出访佛的职责流。Deep Think 的作用，更多是将本来需要专科开辟本领的复杂推理过程，封装成肤浅用户也能方便调用的家具款式。

因此，Brown 以为，真的巧得神志的问题不是某一个家具是否单独发布了系统卡，而是当基础模子当先发布时，研发机构是否也曾充分测试了它在不同推理预算和不同脚手架策略下可能达到的本领水平。

高预算评测难以全面实施，但不错尝试外推

表面上，一个资源充足的行动体可能为单一任务参加高出 1000 万好意思元的推理资本。但安全评估常常波及层见迭出致使数百万次测试运行。如若每一次运行齐使用极高预算，评测资本将赶紧失去可行性。

Brown 提倡，不错先在相对可控的推理预算范围内进行测试，再凭据模子本领随操办量变化的趋势，对更高预算条目下的发扬进行外推。同期，评测机构应明确标注预计区间和概略情趣，而不是将推算休止视为详情论断。

这种方法访佛于通过局部数据估算更大限制系统的变化趋势。它无法替代本色测试，但不错匡助研发机构和监管者领会：当模子被赋予更多期间、更多器具和更多操办资源后，风险领域可能发生怎样的变化。

不外，Brown 也承认，长周期任务仍然可能带来难以通过短期实验惩办的问题。

举例，如若有计划者但愿判断一个自主智能体在执续运行一年后是否会出现方针偏移、策略骗取或其他失配行动，那么最可靠的方法可能仍然是让该智能体本色运行弥散长的期间。只是凭据几小时或几天的实验休止进行外推，只怕能够捕捉遥远行动中的要害变化。

这将产生一个新的施行矛盾：东说念主工智能模子的开辟和发布周期可能只消数月，而智能体能够执续运行的任务周期却可能越来越长。异日，研发机构概况会濒临一种特殊情况——新模子还莫得完成覆盖其最大运行周期的安全测试，下一代模子就也曾接近发布。

三项建议：让推理预算成为模子评估的基础变量

针对本领评测和安全不竭中的上述问题，Brown 提倡了三项具体建议。

第一，东说念主工智能研发机构应当在发布新模子时，公布不同推理预算条目下的基准测试发扬。梦想情况下，企业应提供以 token 数目、资本或运行期间为横轴的性能弧线。至少，企业需要阐发取得某一单点收成时本色使用了若干推理资源。

第二，基准测试排名榜应当纪录推理资源消费，或者为参评模子设定和谐的 token、用度或期间上限。当前，也曾有部分评测开动纳入相干变量，但行业尚未造成圭臬作念法。

开云体育app2026世界杯中国官网下载

第三，东说念主工智能企业的准备度框架（Preparedness Framework）和负包袱膨胀战略（Responsible Scaling Policy，RSP）应当明确沟通推理阶段的操办资源。当机构判断模子是否跳动某一安全阈值时，不应只检会单一成立下的发扬，还应评估多个推理预算水平，并对更高预算条目下的风险本领进行带有概略情趣阐发的预计。

行业已建壮到问题，但评测体系仍未十足跟上

推理阶段增多操办资源不错提高模子发扬，并不是一个全新的发现。

自 OpenAI 在 2024 年 9 月发布 o1 系列推理模子以来，行业也曾渊博意志到：模子在酬报问题时参加更多推理本领，能够在数学、代码和复杂分析任务上取得更好的休止。围绕「测试时操办膨胀」或「推理时操办膨胀」的有计划，也渐渐成为大模子发展的进军方针。

但 Brown 以为，在这一趋势出现近两年后，好多前沿模子发布仍然主要依靠单一基准分数进行传播和比较。部分安全机构也可能在某个脚手架系统使用数十倍、致使上百倍推理预算得回更高收成后，才再行注目模子本领领域。

跟着模子越来越擅长诈欺永劫期运行、多轮试错和大限制推理资源，传统排名榜的证明力可能连续下跌。并吞个基础模子，在低预算问答、高预算深度有计划、多智能体合作和自动化器具调用等不同条目下，可能呈现出迥然相异的本领水平。

Brown 的判断是，异日计算东说念主工智能本领时，推理预算不应再被视为测试过程中的附庸信息，而应像模子限制、教训数据和陡立文窗口一样，成为评测论说中的中枢参数。

从更平庸的角度看，这也意味着，东说念主工智能行业正在平缓告别「用一个数字界说一个模子」的阶段。关于本领评估、家具比较和安全不竭而言，真的进军的问题可能不再只是模子能作念什么，而是当它得回弥散多的期间、资金和操办资源后，究竟不错作念到什么进程。

参考聚会：https://x.com/polynoamial/status/20642101465581368272026世界杯赛事竞猜中国官网