“AI会不会把人类灭绝”听着像一道是非题,Nature这次追问的却是:中间到底要发生什么?近期,Anthropic研究人员和负责人公开警告失控风险,CEO Dario Amodei呼吁放慢、但不停止AI开发,OpenAI与xAI负责人随后表示支持。问题在于,警告者并未给出精确的灭绝路径。
文章把论证拆成两项关键假设:未来系统能全面胜过人类;它的目标又不完全符合人类意图。这正是“对齐”问题——如何让系统持续按人的意图和约束行动。但假设不等于证据。RAND研究人员转而检查核武器、生物技术和蓄意改造大气三条现实路径:他们认为核武器无法造成人类完全灭绝,另两条路径则不能排除;不过,AI还得具备很强的现实世界操作能力,行动也几乎必然耗时并被人类察觉,因而存在阻止机会。
值得知道的不是该不该害怕,而是要把可观察的现实伤害、依赖多重假设的失控路径和灭绝结局分开。Nature同时提到一种质疑:渲染极端风险,也可能帮助头部企业向股东解释减速,或巩固市场权力。