让 AI 检查一份真实代码,难点不只是找出漏洞,还要复现问题、修改源码,并确保软件仍能正常运行。独立评测机构 Artificial Analysis(AA)的 Cyber Index 显示,DeepSeek-V4.1-Flash-1017 在这类“智能体式”网络防御任务中得分 57%,位列公开可用模型第一、总榜第二。
最值得看的不是名次,而是涨分来自哪里。其 CyberGym-E2E-AA 得分从上一代的 23% 跃升至 76%。这项测试包含 131 个 C/C++ 项目的内存安全漏洞,要求 AI 制作能触发报错的验证输入,再提交通过功能测试的补丁,按一次通过率计分。但另外两项一平一退,其中静态审查测试 DeepsecBench-AA 从 31% 降至 25%。
AA 还测得其单任务平均成本为 0.42 美元,并称其处于能力与成本的 Pareto 前沿——也就是继续提高一项指标,往往要牺牲另一项。需要留意的是,这套指数只测持有源码时的防御任务,不测可实际运行的攻击代码、事件响应或无源码目标;57%说明它在特定工具和环境下表现突出,不能直接等同于真实网络中的自主攻防能力。