从受控到真实世界：AI渗透测试智能体评估协议发布

现有AI渗透测试智能体基准（如夺旗、远程代码执行）在简化环境中评估，无法反映真实渗透测试的复杂性与战略决策。

新提出的评估协议将重点从任务完成转向已验证漏洞发现，结合结构化真实数据与LLM语义匹配识别漏洞、二分图解析处理歧义，并支持重复累积评估与效率指标。

该协议已开源专家标注的真实数据与评估代码，旨在实现更真实、可操作的AI渗透测试智能体对比。

arXivLabs is a framework that allows collaborators to develop and share new arXiv features directly on our website.

Have an idea for a project that will add value for arXiv's community? Learn more about arXivLabs ：https://info.arxiv.org/labs/index.html.