文 | 字母AI AI现在连审论文，都比人类专家更厉害了。 10月22日，哈佛大学的两位研究人员发表了一篇题为《AI审稿意见全面胜过高水平人类同行评审》的论文，对比了134组AI与人类撰写的审稿意见。结果，AI在七个评价维度上全面领先。 研究人员还请来三位曾经担任重要学术期刊主编的专家进行盲评。30次比较中，他们有26次认为AI的审稿意见更好。 在接受核查的具体论断中，AI审稿意见的事实错误比例只有5.5%，人类却高达15.9%。 这对最近忙着跟AI公司较劲的数学家们来说，可能不是什么令人愉快的消息。 就在上个月，陶哲轩等25位菲尔兹奖得主还联名批评AI公司急于宣布数学突破，强调数学研究需要严谨的验证和审查。 数学家们还在要求AI接受严格的学术检验，另一边，人类可能连审稿这份工作都要被AI抢走了。 人类一败涂地 惨败的审稿人们可不是什么随便招来的志愿者。 研究使用了124篇学术论文，以及哈佛大学定量社会科学研究所旗下rapidPeer服务提供的134份人类审稿意见——这是一项付费的专业审稿服务，审稿人由领域专家挑选，来自不同的研究机构，而且报酬不低。 他们的表现原本也很不错：在接受调查的74位论文作者中，有88%认为收到的审稿意见质量很高，其中60%给出了最高档评价。 研究人员使用Anthropic的Claude Opus 4.8生成审稿意见，再请OpenAI的GPT-5.5担任AI评委，在不知道意见由谁撰写的情况下，比较人类与AI的审稿质量。 结果是，人类输得非常彻底。 即使不允许AI联网，只给它和人类一样的审稿指南，在134组对比中，GPT-5.5也全部选择了AI。 换用专门优化的提示词、开放联网后，134组比较中有132组明确判AI获胜，剩下两组结果不确定，人类依然没有取得任何胜利。 具体来看，在补充参考文献、发现论文弱点和研究方法三个维度上，AI的胜率达到100%；理论创新、论述框架、表达质量等方面，胜率也都超过90%。 研究人员甚至检查了AI引用的651个带有DOI或arXiv编号的参考文献，发现 全部真实存在，没有任何一条是编造的。 这时候可能会有人说，AI审稿AI评，这不公平，谁知道它会不会偏袒同类？指不定就在审稿意见里藏了什么暗度陈仓的线索。 于是他们请来了开头提到的三位前学术期刊主编，分别进行了10次盲评。结果，在30次比较中，人类评委有26次选择了AI。 这下，就连人类评委都站到了AI那边。 研究做到这里，作者们甚至开始认真讨论：学术期刊或许可以取消常规的人类同行评审，让AI承担大部分审查工作，只留下人类编辑负责最终决定，必要时再请专家介入。 10月23日，该论文发布后，斯坦福大学政治学副教授徐轶青公开表示，学术界应该重新考虑人类专家在审稿中的角色。在他看来，人类专家仍然需要参与，但已经没必要继续亲自撰写动辄1500字的长篇审稿意见了。 就连那些禁止使用AI审稿的期刊，也到了该重新审视自身规定的时候。 看来，人类审稿人的工作，已经有人想要交给AI了。 AI审稿，认真到烦人 那么问题来了：AI到底是怎么把人类审稿人比下去的？ 答案可能非常简单—— 它压根就不会累。 审稿是一件相当费神的工作。审稿人需要通读论文，检查研究方法、数据、图表和论证，还得寻找作者可能遗漏的相关文献。 论文作者甚至在介绍实验时，顺手吐槽了一些传统期刊审稿人：有些人论文才看到第三页，就开始寻找足以否定论文的致命缺陷，好让自己不用继续读下去。 相比之下，AI显然没有急着下班的需求。 图片由AI生成 这次实验中，研究人员将Claude Opus 4.8的推理强度调到最高，还专门设计了一套审稿提示词，允许它联网查找资料。 结果发现， AI平均每审一篇论文，就要进行12.4次联网搜索。 不过，认真的效果也相当明显。在不联网、使用普通审稿指南的情况下，AI在补充参考文献方面的胜率为62%；换用专门优化的提示词并开放联网后，胜率直接提高到了100%。 今时不同往日。 今年4月，学术期刊《Organization Science》的编辑团队还发表过一项研究，分析了过去几年收到的一万多份审稿意见，发现大量使用AI的审稿报告反而更难读，讨论的问题也更加狭窄。 当时研究人员甚至认为，AI生成的审稿意见还没有达到人类审稿的水平。结果不到半年，哈佛就拿出了另一份成绩单。 但AI太认真，偶尔也会让人崩溃。 论文作者就举例，AI有时候甚至会吹毛求疵到荒唐的程度： 明明知道2+2=4是正确的，却还要指出作者没有定义加号是什么意思。 人类审稿人可能嫌论文毛病太多，AI倒可能“找茬成瘾”，没毛病也给挑点错出来。 何况AI的能力还在不断进步。 以前是论文作者需要向人类审稿人证明，自己的研究值得发表； 以后可能就轮到人类审稿人向学术期刊证明，自己为什么还值得花钱请了。 数学家
