检验对象
agent-web,给 Agent 写机器可判的集成测试
检验方式
注入变异体(谎话),由断言当场判决
样本
cases/coffee,13 条案例,memory 实现
报告版本
v0.78.3

给 Agent 的测试,
做一次检验

我们给被测实现注入了 72 种谎话——谎报成功、伪造账单、冒充别人、偷偷挪走别人的订单。适用的 46 种里,断言当场抓住 44 种;漏掉的 2 种写在台账里,不在脚注里。

打开真实判决总览(13 条案例)

检验结论

注入的变异体(谎话)72
适用口径下的分母46 种
断言当场抓住44/46
抓获率95.7%
漏网的 2 种台账在案

26 个变异体在本域不适用,不进分母。漏掉的两种不是被四舍五入掉的,名字写在 docs/LIMITS.md 里。

判决口径

判决只有三种;unknown 留在分母里,不算通过
判决值什么时候给计不计入
pass每条断言都成立,且指出由哪条断言、在哪个观测上成立。计入
fail有断言不成立,报告说清期望什么、实际什么、差在哪一步。计入
unknown缺观测、环境故障、案例未确认。不算通过,留在分母里等观测被修好。留分母

随附材料

  1. 附件一真实判决总览:13 条案例,本次构建跑出来的 pass / fail / unknown。
  2. 附件二单案例判决页:四个步骤,逐格看到断言在哪一步成立。
  3. 附件三使用手册:三十节,从跑通一题到接入自己的系统,由仓库 docs/GUIDE.md 生成。
  4. 附件四仓库与台账:GitHub、Gitee。

三十秒,亲手跑一次(零依赖,不装任何东西):

git clone https://gitee.com/liu-everything_impossble/agent-web.git
cd agent-web && node bin/agent-web.mjs selftest

内置内存实现跑内置案例,三种判决各出现一次,fail 那条会直接说出坏在哪。npm 包名 agent-case 已定好但尚未发布(npx agent-case selftest 现在会 404),所以这里给的是仓库跑法——同一份东西。

这一页是活的

不是截图。每次构建先跑 verify cases/coffee --adapter=memory 拿到真实判决,再用 flow 命令把判决渲染成上面两个页面。你看到的每一行 pass / fail,都来自这一次构建里真跑出来的判决,不是手工填的。

所以这一页的数字也跟着仓库走:变异体数量、适用分母、抓获率一旦被改坏,test/site.test.mjs 会在 CI 里直接把构建拦下来。