BLOG / 2026.11.07
99.4%。这条数字这两天在中文圈刷屏:量子位写「登顶全球第一」,新华网写「刷新世界纪录」,主角是 360 自研安全攻防系统图龙锋(官网英文条目 TuLongFeng)。
热闹够了,但读者真正该问的是:这 99.4% 到底测的是什么?是不是把 OpenAI、Anthropic、Google 的旗舰模型按同规则打趴?以及——公开榜单现在长什么样?
先别把「中国 AI 赢了硅谷」当成口号;先把 CyberGym 的 Level-1 规则和官网 JSON 对上。
CyberGym 到底在考什么
CyberGym 由 UC Berkeley 团队推出,论文已被 ICLR 2026 收录。公开站点写得很直白:基准包含 1507 个真实漏洞任务,覆盖 188 个大型软件项目,漏洞来自 OSS-Fuzz 一类真实披露,而不是玩具 CTF。
Level-1 的核心动作不是「圈出可疑函数」,而是:给漏洞文字描述 + 未打补丁代码库,Agent 必须生成能复现漏洞的 PoC。成功判定还要求在漏洞版本触发、修复版本不触发——这比写一段「可能有问题」的分析严得多。
项目主页自己也承认:早期最佳组合(OpenHands+Claude 3.7 Sonnet)成功率大约只有一成出头;难点在于海量源码、长上下文与多阶段验证。谁把成功率打到接近满分,新闻价值才会被放大。

99.38% 写在官网 JSON 里
本稿直接拉取了 cybergym.io 公开数据文件 /assets/data/cybergym.json。Level-1 条目里,来源标注为 Qihoo 360、Agent 名为 TuLongFeng、底座模型写 DeepSeek-V4.1-Flash 的记录,score_10 为 0.9938(即 99.38%,媒体四舍五入成 99.4%),日期 2026-09-23,focus 为 agent,并带 campaigns: [1496, 1499, 1498]——这与通稿里「三轮独立评测」的叙事能对上。
按 Agent-focused 排序,图龙锋目前排在公开 JSON 的最前;紧随其后的有 Lyrie Agent(99.20%)、Creation 天工(98.47%)、OrcaCyber(98.01%)等。换句话说:接近满分的不止一家,但图龙锋目前仍是公开数据里的最高分档。

读榜时务必切换过滤器。页面默认的 Model-focused 视图会把 Gemini 3.8 Flash Cyber、GPT-5.5-Cyber、XekRung 等模型向条目顶到前面,分数多在八成多;那是另一条赛道,不是「图龙锋输给了 88%」。
新华网等通稿还写到:图龙锋采用「安全领域大模型 + 专业智能体蜂群」,并把专家经验拆进假设、验证、确认链路;累计发现漏洞超 1.5 万、超 500 家企业接入、信通院漏洞挖掘智能体评估通过——这些属于 360/媒体口径,本稿未独立复测,只作背景。
别把「登顶」读成万能挖洞机
CyberGym Level-1 考的是历史漏洞复现,不是「对未知代码无限挖 0-day」。媒体爱写「世界杯」,但赛规是公开基准上的 PoC 成功率;它很硬,也有边界。
官网自己提醒:漏洞描述可能含糊,领先系统分数已经很高时,几个百分点未必对应实质能力差;Agent 运行有随机性,分数会波动。三轮 campaign 稳定在 99.2%–99.5% 附近,说明的是系统稳定性,不是「再也不需要人类安全研究员」。


另一条容易被标题抹掉的细节:公开条目里图龙锋绑定的模型字段是 DeepSeek-V4.1-Flash,而不是某家闭源「神秘超大杯」。叙事重点更像「安全 Agent 系统工程 + 领域工具链」,而不是「自研基座碾压一切」。
对安全团队,可落地的读法是三层:第一层,用公开基准对齐自己的 Agent 流水线,别只晒内部 demo;第二层,把「复现成功」和「可负责任披露/修复」拆开——基准分高不等于补丁质量高;第三层,关注动态环境、测试时记忆等 features 标注,很多高分条目显式声明用了 cleaned vulnerable Docker 等动态能力。
对中国团队「师承世界冠军」一类故事线,本稿只保留可核验部分:公开榜单确实出现 Qihoo 360 / TuLongFeng 的顶级分数。人物师承、内部训练轶事若无官方一手材料,不在此扩写。
回到评测设计本身:CyberGym 允许调节不同分析设定,但主任务始终围绕「描述 + 代码 → 可工作 PoC」。论文还报告,评测过程中额外发现了数十个零日与历史补丁不完整案例——这说明基准不只是刷分器,也能反向产出安全影响。不过那些额外发现属于论文口径,与图龙锋 99.38% 条目是两条证据链,不要焊成一句「登顶顺手挖出一堆 0-day」。
对厂商通稿里的「打败 OpenAI 和 Anthropic」,更准确的说法是:同榜可见 GPT-5.5-Cyber、Claude Mythos Preview、Gemini 3.8 Flash Cyber 等强化网络安全能力的条目,但它们多数落在模型向过滤视图,分数带与 Agent 向系统不在同一读法。用「同场竞技」可以,用「直接人头一对一击穿」容易过度解读。
若你维护内部漏洞挖掘 Agent,可把公开 JSON 当成对齐表:记录 focus、features(动态环境、测试时记忆、多模型)、trials 与 source_url。没有这些字段的内部分数,很难和其他团队横向比较。图龙锋条目显式带了 dynamic Docker 特征,这本身就是复现成本与能力边界的一部分。
最后提醒时间线:JSON 里该条日期是 2026-09-23,中文热传集中在 10 月末到 11 月初。新闻节奏落后评测提交并不罕见;复盘这类新闻时要把「提交日 / 报道日 / 核验日」拆开,避免读者以为昨天刚测完才 99.4%。
我们的判断:99.4% 不是口号,是官网 JSON 里可核对的 99.38%。真正值得跟的,是「Agent 系统把漏洞复现做成稳定流水线」这件事;别把它误读成中国闭源基座已经全面压过硅谷旗舰,也别忽略同赛道已有多家 97%+ 选手。


评论列表 (0条):
加载更多评论 Loading...