近期,若仅关注理论数学与理论物理领域的新闻,会感觉OpenAI与Anthropic的最前沿模型在这些科研范畴内势如破竹,令顶尖科学家们难以招架。
OpenAI于10月27日发布三篇重磅研究论文,一举打通四维杨-米尔斯与量子色动力学存在性证明中停滞数十年的重整化群路径。同时攻克了全维度挂谷猜想与局部平滑猜想。
最引人注目的是,其中一篇论文证伪了理论计算机科学的核心基石之一——指数时间假设。
这些曾被视为人类智力巅峰、甚至属于千禧年大奖难题级别的棘手课题,正被AI逐一攻克。按常理推断,很难想象一个能解开人类最难数学与物理谜题的AI,会是一个缺乏创造力与基础科研能力的系统。
然而,只要将视线从纯数学领域移开,看向另一侧,景象便截然不同。
在当下备受瞩目的RSI实践中,众多前沿研究观察到,模型自行发现的改进难以形成预期的指数级增长,往往在初期摘除几个明显的低效实现后便迅速收敛、触及天花板。
即便是这条路径上走得最远的Anthropic,也在其报告中多次坦言,当前模型的科研品味相当有限。
若再看向生物、化学、生态、地球科学等更广泛的经验学科,似乎AI依然普遍难以承担起框架性创新的重任。
这种巨大的反差究竟源于何处?
一种直观的解释指向数据与训练环境的差异:数学与高度数学化的理论物理本质上封闭在符号与公理体系内,文本语料本身就完整承载了它们的世界规则。而一旦进入真实的物理、生物等经验世界,仅靠静态论文文本的投喂,模型根本无法建立起对外部物理过程的直观想象力与动力学直觉。
这无疑是一个有力的观点,但仅此而已吗?
当我们把近期AI攻克各类科研的具体路径,与一系列关于AI科研能力的最新研究放在一起进行剖析时,一种基于认知模式的新解释或许会浮现出来。
01 AI科研的阿喀琉斯之踵
作为在RSI和AI科研自动化领域推动最深入的机构之一,Anthropic对当前前沿模型科研上限的观察具有极高的参考价值。
在2026年10月20日发布的论文《Automating ML for Science: Can Frontier Agents Climb Scientific Hills in the Wild?》中,Anthropic的研究团队构建了一个名为AGENT4SCI的长周期评测基准,专门考察当下最强的编程智能体在真实科学机器学习项目中的科研表现。
真实科研荒野中的“自动爬山”实验
以往针对AI科研能力的测试,大多局限于计算机科学内部。而真实科学领域的机器学习项目完全是另一番景象:问题横跨天体物理、蛋白质工程、地质岩相、生态碳循环等不同学科,代码库往往是科研人员随手写就的实验脚本,且很多时候要提升指标需要用到具体的学科知识。
这次,Anthropic团队将智能体放入这片真实科研的荒野。他们从NeurIPS 2025等顶会和专业期刊的数百篇论文中,经过四轮严苛筛选,最终保留了横跨11个科学领域的20个基准、共25个具体任务。
这些任务包括暗物质信号时序去噪、蛋白质深层突变扫描适应度预测、三维RNA逆向设计、火星地貌分割与火山锥检测、全球森林碳通量40年预测、全拓扑电力系统潮流计算、质谱分子检索等。
那么如何让AI做科研呢?作者设计了一套称为自动科学爬山的系统。他们为智能体提供原论文、代码库、数据集以及目标评测指标。每个智能体在每个任务上分配8张H200 GPU和12小时的运行预算,全程没有任何人类干预。
参测的是当时最强的四个前沿智能体:Claude Opus 4.6、Claude Sonnet 4.6、Codex (GPT-5.4) 以及 Gemini 3.1 Pro。
单看分数,前沿智能体的表现相当亮眼。在全部20个基准上,智能体都在无人工干预的情况下超越了论文已发表的最佳基线。其中Claude Opus 4.6平均相对提升了10.4%,Claude Sonnet 4.6提升了9.6%,Gemini 3.1 Pro提升了6.8%,Codex (GPT-5.4)提升了4.4%,且在三阶段隔离协议下没有任何一次运行被查出作弊。
但是,当研究团队将这上百个12小时的实验轨迹拆开,统计智能体到底在代码里改了什么时,真相浮出水面。这些提升几乎全部来自常规的机器学习工程套路,而非科研层面的洞察。
在默认状态下,智能体所做的事情无外乎两类。
第一类是局部超参数微调。在Claude Opus的所有尝试中,有56%是在调整学习率、更换余弦退火调度、修改权重衰减或延长训练轮数。Gemini和Codex在这方面的占比也分别高达48%和44%。
第二类是更大范围上的套路化模块组合。比如把原有的网络层数加深加宽、修改池化方式、加入常规的数据增强,或者将原论文里较旧的视觉骨干网络直接替换成现成的更大骨干,最后再把十几个不同随机种子跑出来的模型做集成。
这种“换骨干+改数据增强+模型集成”,比单纯使用Optuna搜索几个超参数数字要强得多。
但即便如此,整体依然是在文献中早已熟知的通用深度学习组件库里进行排列组合。
为什么只做这种相对浅表且缺乏研究品位的操作呢?研究团队在轨迹分析中总结出了当前智能体在默认状态下的三大通病。
首先,是新颖度误判。 智能体对“什么是创新”的判断与人类完全脱节,经常在推理日志中把极其普通的标准操作吹捧为重大突破。论文明确举例提到,Claude Code在多次运行中都把“改用余弦学习率调度”描述为一个极具创造性的想法,但这在深度学习中早已是沿用多年的常识。
其次是探索坍缩。 即便智能体在开局阶段列出了几个不同方向的想法,一旦它在第一个小时里发现某个小改动让验证集指标上涨了一点,它的探索视野就会迅速坍缩,将剩下的十几个小时全部用来围绕这个点进行随机种子扫描、微调学习率和做模型融合,彻底放弃探索本质上不同的方法。
此外,与创新能力无关但和研究效率相关的是算力利用率低下。 明明手握8张H200 GPU,智能体却经常串行运行实验导致显卡闲置,或者像Codex那样在第一个小时内写好一个包含上百组超参数扫描的长脚本,提交之后就彻底停手,干等11个小时直到脚本跑完,期间不做任何结果分析与方向调整。
写死规则逼出的“高光时刻”与“低垂的果实”
为了解决这三个问题,限制AI过早集中在有限的局部搜索上,Anthropic团队为智能体加装了三个写死规则的插件技能。
第一个插件是科研构思。 在任务刚启动、智能体还没看到任何一行代码之前,先给它强行赋予一个“狂热科研科学家”的人设,规定它极其鄙视调超参数,只对颠覆性突破感到满足。同时,严禁主智能体直接去读原仓库代码,而是强制派出4个并行的子智能体去检索和撰写文献综述。
其中两个子智能体专门调研该科学任务底层的领域数据结构、物理规律及领域专属建模范式。另外两个子智能体专门调研整个AI界最新的预训练大模型与SOTA训练方法。调研结束后,智能体必须将实验计划分为高风险高回报的Tier-1实验和稳妥的Tier-2实验,并回答三个校准问题。
第二个插件是实验管理。 写死规定第一轮实验必须全部运行Tier-1的大胆创新方案,并且必须把8张H200全部占满。严禁在第一轮复现基线、严禁在基线上调参、严禁跑多随机种子集成。
第三个插件是每小时定时自检。 通过工具调用钩子,每隔一小时强制打断智能体,让它公开回答一系列诊断问题,比如:“我是在设计需要科学推理的创造性实验,还是又在调超参数并假装它很新颖?”、“当实验失败时,我是诊断了根本原因并做针对性转向,还是直接退回到了最省事的保底套路?” 一旦发现自己又滑向了局部调参,必须立刻停止并重新开启新方向的探索。
加上这套严厉的规则约束后,效果立竿见影。Claude Opus 4.6的平均相对提升从0.4%翻倍到了20.1%,Codex从4.4%提升到了8.1%。
更重要的是,在一些任务上,智能体真的展现出了比之前高得多的、更近似于科研的洞察。
第一个案例是全球森林碳通量预测。原论文的基线采用自回归模型,像滚雪球一样一步步往后滚动预测40年的碳通量。在没有插件时,Opus做的事情是将原有的自回归模型训练了14个不同权重做集成,烧掉了49个GPU小时,将误差降低了14.7%。而在加上插件、做完文献调研后,智能体意识到40年跨度的自回归滚动预测不仅推理慢,而且存在严重的“曝光偏差”。
于是它直接推翻了原代码的自回归框架,从序列生成文献中搬来了非自回归Transformer架构,一次前向传播直接输出完整序列。结果训练耗时从49 GPU小时骤降到6 GPU小时以内,推理速度更是提升了约500倍,同时测试集误差降幅从14.7%大幅跃升至35.3%。
第二个案例是电力系统全拓扑潮流计算。这个任务要求用图神经网络预测电网各节点的电压和相角,评测指标是功率平衡损失。在加上插件后,Opus的提升从64.4%达到了91.0%。
这是因为它从领域背景中看到评测指标PBL本身就是由电学中的基尔霍夫定律推导出来的代数残差,计算它根本不需要真实标签。于是它不再用传统的均方误差作为主损失,而是直接围绕PBL重构了训练目标,并在推理阶段把GNN的预测输出作为交流潮流方程的热启动初值,通过物理方程迭代将残差进一步压低到接近零。
而在随后的3天长周期实验中,它还设计出了一个非常精巧的桥接方案:以GNN预测作为GPU密集型牛顿-拉夫逊求解器的热启动初值,并针对不同电网样本的功率失衡严重程度,发明了一套条件感知的自适应步长策略,动态分配0,再配合多级阻尼与Levenberg-Marquardt混合修正,最终在延迟预算内将物理误差砍掉了99.5%。
在这个例子里,无论是将序列建模的非自回归范式搬到生态碳预测上,还是在图网络与牛顿-拉夫逊数值求解器之间设计自适应步长桥接器,看起来都已经非常有“科研味”了。
但耐人寻味的是,Anthropic的研究团队在论文中对这些成果给出了一个极其克制的评价:这些依然只是“低垂的果实”。
在绝大多数基准上,提升依然是边际性的、由工程驱动的。
科研品味与低垂的果实
为什么连这样漂亮的改进,作者也认为是“低垂的果实”?
因为如果我们把一个科学机器学习项目的代码逻辑由浅入深分为四层,就能清楚地看到默认状态与文献检索插件到底帮智能体改到了哪一层,又在哪里撞上了铁板。
顺着这张表剖开去看,AI展现出来的“科研洞察”完全可以解释为在基础模式之上更广阔的组合与套用。
在没有插件时,智能体一上来先读原仓库代码,思维被原代码的旧结构死死锚定,只能在自己预训练记忆最熟悉的第1层和第2层里打转。
而加上插件后,通过强制先做四路文献检索,智能体将检索池从“通用炼丹套路”扩大到了“该细分学科的专业套路库”。
比如在电力潮流计算文献里,用基尔霍夫定律做物理损失、用神经网络给牛顿-拉夫逊法提供热启动初值,原本就是该领域的经典路线。
在长序列预测文献里,用非自回归架构消除曝光偏差,也是写了十几年的标准方案。
当然,这并不是说智能体完全没有任何原创性。AI模型非常擅长“搭桥”,比如在PFDelta 2000上,为了把GNN热启动和GPU牛顿求解器塞进严苛的延迟预算里,它能够现场设计出那套0~4步条件感知自适应阻尼策略。
因此,从Anthropic的详尽实验里,我们可以提炼出当前AI在科研中最擅长的三种常规模式:
只要一个科学基准留有这三板斧能发挥作用的空间,AI就能迅速摘下这些“低垂的果实”。
然而,一旦遇到原基线已经把本领域常规方法打磨得很扎实、无法靠跨界搬运现成套路解决的硬核科学问题,这三板斧就立刻失灵了。
在Anthropic找到的25道题里,在蛋白质突变适应度预测ProteinGym上,基线Kermut本身就是人类专家在公开榜单上精心打磨的顶尖方法,结果默认Opus仅提升0.3%,加上全套科研插件后也只有0.4%。Codex + Skills更是一点没涨。而在三维RNA逆向设计gRNAde上,加上插件后的Opus不仅没涨,反而跌了0.6%。
而在3天长周期实验中,一旦智能体在前十几个小时将文献综述里搜出来的几道“高级菜谱”试完,它也基本不会针对实验残差去做更深层的科学推演。比如Opus + Skills在PFDelta 2000的后60个小时里,重新退化回连续6轮微调学习率。Codex + Skills在CarbonGlobe上前40小时毫无进展后,更是彻底退回第2层的暴力拼凑,将Informer、PatchTST、iTransformer等80100种现成时序架构全训了一遍,再用贪心算法拼凑了277轮集成,导致测试时需要同时跑6080个模型,验证集看似涨了37%,在隔离测试集上却因为严重过拟合暴跌了25%。
同期,10月28日,斯坦福大学、耶鲁大学、纽约大学及加州理工学院等机构的30余位学者联合发布了After42项目《Can AI Propose Interesting Research Questions?》,也提供了类似的参照系。
在这项研究中,团队测试了前沿模型能否在数学、统计、理论计算机和物理领域提出让人类专家觉得“真正有趣、值得投入精力研究”的新问题。
After42团队发现,哪怕给模型喂满领域文献,如果让它单次直接提出研究问题,虽然90%能通过新颖性检查、77%能通过难度检查,但人类专家认为真正有趣的比例只有可怜的3%。
为了破局,团队设计了一套“以解题驱动提问”的智能体工作流。先让解题智能体去强行求解初始的平庸问题,在推导和计算中暴露出反例、盲区或局部余项,再顺着这些发现去修改问题,最终将专家认可的有趣率从3%拉升到了33%。
但After42团队对最终生成的数学问题做了溯源分类:他们将跨界组合、条件弱化和已知对象的下一步推进统称为基于已知工作的直接组合。
统计表明,在初始提案中高达97%属于此类组合,即便经过多轮解题演化,最终问题中仍有87%属于此类组合。
而在模型品味测试中,模型裁判虽能以80%的召回率迎合专家的“共识主流审美”,却对单个专家独具慧眼挑出的非共识突破口毫无识别力。
正如作者在文中所坦承的,像1957年Hammersley从真实流体出发发明“渗流”这一全新数学对象、或Erdős与Rényi开创随机图演化理论那样真正跳出组合框架的提问,在AI的产出中凤毛麟角。
AI缺的到底是哪一层思考
那AI缺的这种跳出框架组合的思考是什么?
就拿DeepSeek Harness来讲,有人如果只看最后写出来的代码形式,可能会觉得:“这不就是软件工程里常见的模块化吗?是不是也算把已有的工程思想搬过来?”
这种看法忽略了最核心的一点。这个设计并不是靠去检索“软件工程有哪些设计模式”套出来的,也不是靠直接回答“我怎么调整这个Harness让它分数更高”得出来的。
它通过跳出当前问题所在的层级、去链接上下游系统机制而长出来的。
如果停留在检索和直接答题的逻辑上,面对“如何改进Harness”这个问题,研究者的反应会是我去改一改Harness里的提示词模板、换一套记忆检索组件、或者将市面上100种Harness技巧排列组合试一遍,看哪个在基准测试上涨分。
但真正导出“可拆分Harness层”的思考,首先跳出了“怎么直接调好这个Harness”的单层问题,往上看了一层,去链接强化学习训练系统本身的运转机制。
它先要链接上层系统。 如果我们想要高效地训练模型去适应Harness,训练系统最核心的前提是什么?是必须做好清晰的信度分配,也就是系统必须能分清每一次结果的好坏到底是由哪个因素贡献的。
然后再回看下层的Harness,如果想要训练模型去修改和应用Harness,当前的耦合结构有什么根本问题?问题在于整坨耦合的Harness将所有动作混在一起,模型改了其中一处,训练系统根本无法判断到底是哪一部分在起正面作用、哪一部分在拖后腿。
最后去重构系统层级。 既然“上层训练系统的信度分配需求”与“下层Harness的耦合形态”存在结构性矛盾,那就不能只去调Harness里的具体参数,而是必须对系统结构本身动手术,在框架里新增一个可拆分的Harness插件层级,让每个模块的贡献与副作用在训练中变得可独立归因。
这个思维动作的本质是先跳出好几个层级,去理解不同系统层级之间的因果链接,再回过头来重构系统的组织形态。
而这,是一般科研中决定其颠覆性和新颖性的核心之一。一个好的组合直觉,能够搭好中间缺位的桥梁,与一套底层的反思逻辑,三者缺一不可。
而底层反思逻辑,甚至是更“原处”的动力和结构力。
它是面对一个复杂的自然现象或工程难题时,不直接顺着“我怎么调这个东西让它变好”往下做,而是先跳出两三个层级,去将不同层级的系统机制链接起来审视,进而对解释、测量或控制系统本身做结构性手术。
在自然科学中,牛顿建立经典力学、或者统计物理在微观粒子运动之上构建出温度与熵的宏观热力学层级,靠的也不是在原有的轨迹拟合公式里再凑一个高阶修正项,而是跳出局部的计算表象,将原本分散在不同尺度下的物理机制链接成一个整体,对整个解释系统的层级结构本身进行重构。
反观目前我们在AGENT4SCI乃至
在星空平台入口方面,星空手机网页版提供贴心周到的支持。*
版权所有 ©2020 Seqty. 设计 EnvyTheme
评论(2)
星空手机网页版专注星空体育移动端,为用户提供专业可靠的体验。
2020年9月20日,星期一星空手机网页版以手机网页版无需下载安装,打开浏览器即可访问全部内容。为核心,带来高效便捷的体验。
回复围绕星空手机网页版,星空手机网页版持续打磨更优质的服务。
2020年9月20日,星期一想了解更多栏目分类简明,帮助用户快速定位热门话题、公告与常见问题。相关内容,尽在星空手机网页版。
回复