对 Passmark（AI 驱动的 Playwright 自然语言回归测试库）的实操评估：6 个演示场景全部实测通过，含真实重型 Vue SPA 管理后台。这是”用 LLM 做黑盒回归测试”的一手结论。
工作机制（实测确认）
- 只有”恰好一次工具调用”的步骤才进 Redis 步骤缓存；自动修复定位到新元素后不回写缓存（下次还会重新探索）。
- 断言是 ARIA 快照 + 截图双通道；waitUntil/截图断言要求模型具备多模态能力，步骤执行要求模型可靠发起工具调用——选型时这两条是硬门槛。
- 单步典型耗时 1–3 分钟（agentic 循环），整条用例要按分钟级预算。
自建网关的兼容坑（三家厂商实测）
@openrouter/ai-sdk-provider严格 zod 校验会拒绝第三方 OpenAI 兼容端点；- DashScope 要求提示词里必须出现 “json” 一词，否则 response_format 报错；
- 思考模式下
tool_choice只能 auto，不能强制。
网关劫持范式（通用技巧）
用 NODE_OPTIONS=--require ./gateway-patch.js 加载 require 钩子，重写 Module._load 把不配合的 provider 包替换为 @ai-sdk/openai-compatible 的同签名 shim，key 原样透传。fetch 层再做三个修补：自动给消息补 “json” 关键词、环境变量剥图降级纯文本模型、请求响应落 jsonl 便于调试。任何”不支持自定义端点/私有协议差异”的三方 JS 库都可以用这招兜底，不用 fork 源码。
真实站点经验
- 自建网关 960KB 请求上限：agentic 循环逐步累积 ARIA 快照 + 截图，复合步骤必然撞墙——步骤必须原子化（一步一个动作）；
- 超时放大到 10 分钟级；
- 对”表单可能已预填”的非确定性，直接在步骤描述里写明”通常已预填”，消除 flaky；
- 用 MODE 开关文件让被测站实时改写 DOM，可以低成本测试用例的”自愈”能力。
其他可复用技巧
- Redis 免 sudo 免编译安装：从 Ubuntu deb 包解包出 redis-server 二进制直接跑，适合无 root 的开发机；
- 测试敏感凭据只从环境变量注入，演示站口令不进用例文本。
增补：对照与延伸（2026-09-19 全量书签）
- 完整 AI 测试方法论（四方案选型/用例生成/执行经验/自愈六档/测试金字塔）见 AI测试工程体系；框架横评见 AI浏览器自动化框架对比；
- 关键对照：playwright-mcp 32 工具定义 ≈13.6K token（未干活先吃 7-8% 上下文）vs playwright-skill 453 行说明——与本页 Step Cache 是同一 token 经济学；Healer”功能 bug 标记 skip 不修绿”与本页自愈边界互证；
- Dev Browser 四方案基准：3m53s/
0.88/100% vs Playwright MCP 4m31s/1.45 vs Playwright Skill 8m07s/67% vs Chrome Extension 12m54s/$2.81。
原始素材
- README
相关页面
- OpenAI兼容LLM接入通用模式
- CUA图形界面自动化实战（同为 AI 自动化，一个走无头浏览器 API，一个走屏幕像素）