10月26日消息，一项名为TasteVal的新测试显示，顶级AI模型在自主设计科研实验和解读实验结果方面的能力，正在以惊人的速度提升。

根据Anthropic联合创始人杰克·克拉克引用的数据，自2025年12月以来，领先AI模型的这项能力大约每三个月就会翻一倍。更值得关注的是，在这项测试中，表现最好的AI模型已经超过了一组由24名人类专家组成的对照团队，而且完成任务的成本仅为人类专家的约三十分之一。

这一结果甚至改变了Anthropic联合创始人对AI未来发展速度的判断。克拉克此前预计，AI可能在2028年左右实现递归式自我改进，如今他认为，这个时间点可能提前到2027年。

所谓递归式自我改进，简称RSI，指的是AI系统能够参与研发比自己更强大的下一代AI系统，并让这一过程不断循环。如果这种能力真正实现，AI研发将不再完全依赖人类工程师推动，技术迭代速度也可能发生根本变化。

这项测试由P-Zero Research研究机构开发。研究团队将其测量的能力称为Research Taste，可以理解为科研判断力，或者科研直觉。简单来说，就是研究人员能不能判断什么实验值得做、应该怎么做，以及如何从实验结果中找到真正有价值的信息。

这种能力与普通的解题能力不同。过去，AI模型主要通过数学考试、编程测试和知识问答来证明自己的实力。这些任务通常都有明确的问题和评价标准。但真正的科学研究往往没有现成答案。研究人员需要不断提出假设、设计实验、观察结果，然后决定下一步应该往哪个方向探索。有经验的研究员往往能够通过少量实验，迅速判断某条技术路线是否值得继续投入。而缺乏科研经验的人，可能需要反复尝试许多无效实验，才能得到相同的结果。

P-Zero Research认为，这种判断能力可以分成三个部分。

首先是判断哪些研究问题值得探索，其次是设计能够回答这些问题的实验，最后是正确理解实验结果。

不过，TasteVal目前只测试后两项能力。也就是说，研究方向已经提前确定，AI需要做的是在给定目标下，自主决定下一步开展什么实验，并根据结果不断调整策略。最核心的研究方向选择能力，目前还不在测试范围之内。

TasteVal一共设置了8项任务，全部来自真实的AI模型研发领域。这些任务覆盖训练数据筛选、语言模型预训练、模型微调、人类偏好训练，以及防御恶意提示词攻击等方向。每项任务都会给出明确的研究目标和可以量化的评价指标。AI模型需要根据目标，自主决定应该先做什么实验。获得结果后，再分析实验表现，并据此规划下一步操作。整个过程会不断循环，直到达到计算资源或时间限制。

为了避免编程能力影响最终成绩，研究团队并没有让不同模型使用自己的代码生成工具。所有实验统一交给一个固定的编程智能体执行，并在单张英伟达H100 GPU上运行。每次测试最多可以使用40个GPU小时的计算资源，或者持续120小时的实际时间。这样做的目的是尽量排除硬件和编程工具的差异，将重点放在AI是否能够做出正确的科研决策上。

为了建立人类基准，研究团队还邀请了24名具有相关经验的专家。这些专家近期曾在OpenAI、谷歌DeepMind、英伟达以及微软研究院等机构工作。每项任务至少安排两名专家参与，并以人类在该任务上的最佳成绩作为比较标准。

在最终测试中，表现最好的模型是Anthropic的Opus 5.5。它取得了2.3倍的计算效率系数。这个数字意味着，在TasteVal的评价方式下，Opus 5.5只需要使用不到人类专家一半的实验计算资源，就能达到与专家相当的任务成绩。

研究团队将这一指标称为Compute Multiplier，也就是计算效率倍数。它的计算逻辑很直接。如果一个AI模型只使用人类一半的计算资源，就能取得相同研究成果，那么它的科研判断力就被定义为人类的两倍。因为在AI研发中，实验计算资源通常十分昂贵。能够减少无效实验，就意味着节约大量GPU时间和研发成本。

不过，这个2.3倍并不是完全确定的数字。根据统计分析，其估计区间为1.15倍至4.37倍。如果按照区间下限计算，Opus 5.5只是略微领先于人类专家；如果按照上限计算，其效率优势则相当明显。

除了计算效率，成本差距也十分惊人。研究人员估算，AI完成一次测试的成本，大约只有人类专家平均成本的三十分之一。如果未来AI能够将这种能力扩展到更多科研任务，企业可能用远低于传统研发团队的成本，完成相当一部分实验设计和分析工作。

比单次测试结果更让研究人员关注的，是AI科研能力的提升曲线。P-Zero Research发现，自2025年12月以来，领先AI模型在TasteVal上的计算效率倍数，大约每三个月就会翻一倍。相比之下，在此前几年，模型的科研判断力提升速度要慢得多。

真正明显的加速，出现在2025年底至2026年初。如果这一趋势能够持续，AI可能在很短时间内获得远超当前水平的科研实验能力。

不过，研究团队也提醒，目前数据仍然存在较大不确定性。统计结果显示，能力翻倍周期可能短至1.7个月，也可能长达5个月。而且，这项测试只有8个任务，不能直接代表整个科学研究领域。研究人员也承认，TasteVal可能高估了AI科研判断力的实际进步速度。一个重要原因是，这些任务的实验结果能够相对快速、低成本地进行验证。而这恰恰是目前AI实验室最容易进行针对性优化的任务类型。

对于那些需要长期研究、缺乏明确评价指标，甚至几年后才能验证结果的科研问题，AI是否也能取得类似进步，目前仍然没有答案。

TasteVal的研究结果，让Anthropic联合创始人杰克·克拉克重新评估了AI发展的时间表。

克拉克长期关注AI能否实现递归式自我改进。在他看来，决定AI能否真正自主研发下一代模型的关键，并不是编程速度，而是创造力和科研判断力。因为写代码只是研发过程中的一部分。真正困难的是找到值得研究的问题，判断哪些技术方向可能带来突破，以及如何规划长期研究路线。

今年早些时候，克拉克还认为，AI尚未在具有突破性意义的科研创造力方面展示出足够强的能力。在今年5月的一篇长文中，他曾给出一组预测。到2027年底，AI能够独立训练出比自己更强模型的概率约为30%。到2028年底，这一概率则上升至60%左右。但随着AI在数学研究和TasteVal等测试中不断取得进展，克拉克开始认为，相关能力可能比自己此前预期的更早成熟。

如今，他将2027年视为AI实现递归式自我改进的可能时间点。

此前，很多AI研究人员认为，大模型虽然能够帮助人类写代码、整理数据，甚至承担初级研究员的工作，但距离真正独立开展科研仍然很远。

AI研究员赫比·布拉德利就曾反驳克拉克此前的预测。他认为，大模型接管初级科研人员的部分任务或许并不困难，但真正高水平的科研判断力、创造力以及长期研究规划能力，仍然远远超出AI的能力范围。

TasteVal的新结果，对其中一部分判断提出了挑战。至少在实验设计和结果分析方面，顶级AI已经展现出与人类专家竞争的能力。但在选择长期科研方向上，AI依然缺乏足够证据证明自己能够独立胜任。

复旦大学研究团队此前开展的一项研究，也说明了这一差距。研究人员分析了使用AI智能体辅助开发模型的过程。结果发现，AI智能体最多能够贡献55%的研究方法建议，但最终超过85%的关键决策仍然由人类完成。

研究团队指出，目前尚不清楚AI如何在没有实验结果的情况下，自主提出多样化的研究方向，并提前判断这些方向的潜在价值。

而这正是TasteVal暂时没有测试的能力。