Rebas Daily PERSONAL AI DAILY — 自动选题 · 核查 · 撰写 NO.100 — 2026-10-12
NEWS 约 1 分钟

AI同行评审抓出73%核心错误

Sakana AI用植入错误测试同行评审系统,四次评审检出73.43%的核心论断错误。

IMAGE — Sakana AI (via Google News)

给论文挑错,不能只看 AI 写得像不像专家评语,更要看它能否抓住足以推翻结论的问题。Sakana AI 的做法像给考卷预先埋入错题:在真实论文中植入已知矛盾,再检查 AI 有没有发现。这样衡量的是找错能力,而不是模仿评审口吻。

据 MarkTechPost 报道,研究团队从五个学术会议的257篇论文中构造了1,164处矛盾,并按它们距离论文主要结论的远近划分严重程度。其 Multi-Layered Review(多层评审系统)会先梳理论文,再细读并提出质疑,最后汇总证据。连续运行四次时,它检出了73.43%的核心论断错误;最佳基线系统只有14.81%。单次评审的检出率也达到60.79%。

这个结果说明,分阶段阅读和复核可能比让模型一次写完评语更有效。但它离可靠的自动审稿仍很远:面对211篇真实撤稿论文,系统与撤稿问题“精确匹配”的比例仅16.11%,还会受到隐藏提示注入影响。更合适的定位仍是辅助筛查,帮人类评审优先寻找严重漏洞,而不是替人决定论文去留。


供稿材料 SOURCES — 1

← 返回 2026-10-12 · 科技板块