POC(Proof of Concept,概念验证)的核心任务,是使用客户提供的真实系统、账号、数据和测试用例,验证 TestClaw 是否能够将测试用例生成可执行脚本、支持脚本批量调度执行,并保持较高的通过率和稳定性。最终目标是获得客户满意度确认,为后续立项和采购提供依据。
- ✅ 将测试用例生成可执行脚本
- ✅ 支持脚本批量调度和连续执行
- ✅ 保持较高的执行通过率和稳定性
- ✅ 展示脚本自愈和错误分析能力
- ✅ 形成完整的数据、报告和汇报材料
- ✅ 获得客户满意度确认,推动立项采购
- 判断客户是否适合开展 POC
- 确认客户预算、采购计划和关键决策人
- 推动客户签署 POC 准入表
- 确认是否需要签署 NDA
- 协调客户提供环境、账号、数据和用例
- 处理重大问题和资源协调
- 组织最终客户汇报
- 推动满意度签字、立项、报价和合同
- 准备并讲解启动会 PPT
- 向客户说明目标、范围和成功标准
- 协助交付整理 POC 数据
- 制作和优化客户汇报材料
- 准备客户可能提出的问题及回答
- 在立项和招标阶段提供技术方案支持
- 检查客户环境、账号、设备和测试数据
- 熟悉客户系统和业务流程
- 清洗和规范客户测试用例
- 生成、调试和固化脚本
- 组织脚本批量执行和连续 3 轮验证
- 记录通过率、耗时、稳定性和 Token 消耗
- 验证自愈和错误分析能力
- 维护问题登记表,每天输出 POC 日报
- 整理截图、日志、视频和测试报告
- 归档全部 POC 交付物
- 准备平台账号和 Token
- 处理平台缺陷、模型问题和功能异常
- 协助分析无法解决的执行问题
- 支持私有化部署和模型资源准备
- 确认平台能力边界,避免对客户过度承诺
- 提供测试环境、账号、数据和用例
- 协调网络、权限、设备和业务人员
- 解释客户业务流程
- 配合确认环境类问题
- 处理客户侧账号、数据和系统问题
- 协调测试负责人和关键决策人参加会议
用例标准化+脚本生成
批量执行+自愈验证
数据整理+汇报材料
💡 每个时段均可点击展开查看详细内容。绿色 = 环境/用例准备 | 蓝色 = 脚本工作 | 橙色 = 执行验证 | 紫色 = 汇报总结
🔰 熟悉环境并规范用例
- 登记客户环境、账号、设备、数据和用例
- 检查网络、URL、安装包、VPN 和白名单
- 验证账号是否具备目标业务权限
- 手工走通客户核心业务流程
- 了解场景目的、前置条件和预期结果
- 检查客户用例是否完整
- 补充缺失的前置条件、步骤、输入数据
- 将多个动作拆分成清晰步骤
- 与客户确认修改后的用例
- 形成 10~20 条标准化用例
- 标准化用例集
- 用例调整日志
- 环境资源检查表
- 问题登记表
- ☑ 环境和账号正常
- ☐ 核心业务流程已手工走通
- ☐ 测试数据可重复使用
- ☑ 典型用例已完成标准化
- ☐ 用例修改已与客户确认
🤖 生成、调试和固化脚本
- 将标准化用例导入 TestClaw
- 批量生成自动化脚本
- 记录生成时间和 Token 消耗
- 检查 AI 生成的点击、输入、滑动、等待和校验步骤
- 标记保留、修改、删除和人工新增的步骤
- 计算用例到脚本步骤采纳率
- 修改错误定位、输入参数、等待时间
- 逐条调试脚本并保存失败截图和日志
- 确保每条脚本至少完整执行通过一次
- 记录每条脚本的人工固化耗时
- 固化脚本集
- 脚本调试记录
- 步骤采纳率统计
- 生成耗时和 Token 统计
- 更新后的问题登记表
- ☑ 所有标准化用例已生成脚本
- ☑ AI 生成步骤已人工审核
- ☑ 脚本问题已完成修改
- ☐ 每条脚本至少完整通过一次
- ☐ 生成和固化数据已记录
⚡ 批量执行和稳定性验证
- 创建批量执行任务
- 选择脚本、设备、账号、数据和执行环境
- 确保 3 轮执行使用相同配置
- 每轮执行前恢复测试数据
- 连续执行 3 轮
- 记录每轮成功数、失败数和环境异常数
- 保存任务报告、截图、日志和视频
- 计算脚本执行通过率
- 计算平均单用例执行耗时
- 计算 3 轮执行稳定性
- 与客户共同确认剔除的环境因素
- 3 轮执行统计表
- 任务执行报告
- 截图、日志和视频
- 环境因素确认记录
- 失败原因分类记录
- ☑ 已完成连续 3 轮执行
- ☑ 每轮数据均已记录
- ☐ 通过率已计算
- ☐ 稳定性已计算
- ☐ 环境因素已双方确认
- ☐ 原始执行证据已保存
🩹 验证自愈和错误分析
- 选择已经正常通过的脚本
- 设计可恢复的异常场景
- 模拟弹框、页面变化、步骤缺失、数据异常
- 观察系统是否触发自愈
- 记录系统调整的定位、参数或执行策略
- 判断自愈后是否最终完成业务流程
- 计算自愈成功率
- 检查系统给出的失败原因
- 人工判断问题归属(环境/脚本/数据/产品)
- 计算错误分类准确率
- 选择典型案例用于客户汇报
- 自愈验证记录
- 错误分析报告
- 模拟失败场景清单
- 典型案例截图或视频
- 更新后的问题登记表
- 弹框拦截(权限、更新、提示)
- 页面结构变化(改版、A/B测试)
- 步骤缺失(跳过某步直接执行)
- 数据异常(字段为空、格式错误)
- 网络波动(加载慢、超时)
📊 整理数据和制作汇报材料
- 汇总用例、脚本、执行、自愈和问题数据
- 建立统一数据底表
- 核对指标分子、分母和统计口径
- 计算场景覆盖度、通过率、耗时、稳定性
- 计算步骤采纳率、脚本完整度、提效倍数
- 与客户手工回归方式进行对比
- 整理过程截图、日志和视频
- 制作 POC 汇报 PPT
- 对客户数据进行脱敏
- POC 数据底表
- 汇报 PPT v1
- 演示视频
- 截图和日志目录
- 人效对比表
- 1. 客户原有问题
- 2. POC 目标和范围
- 3. 3 天执行过程
- 4. 核心指标
- 5. AI 脚本生成效果
- 6. 批量执行和稳定性
- 7. 自愈和错误分析案例
- 8. 与手工回归的对比
- 9. 当前问题和限制
- 10. POC 判定和后续建议
🔍 内部评审和材料修订
- 销售
- 售前
- 交付
- 产品
• 销售:是否支持立项,回答客户决策问题
• 售前:汇报逻辑、业务价值、客户问答
• 交付:数据真实性、指标口径、原始证据
• 产品:产品能力边界、缺陷和风险说明
- 汇报 PPT v2
- 内部评审纪要
- 客户问答清单
- 整改方案
- POC 判定建议
- 通过 3项核心指标全部达标
- 有条件通过 2项达标+1项接近(≤10%)
- 不通过 最多1项达标或满意度≤3分
TestClaw POC 的标准执行方式。我方人员主导,在客户环境中集中3天完成全流程验证。
• 我方人员在客户现场或远程操作
• 负责全部脚本生成、调试、执行
• 制作汇报材料和数据底表
• 提供环境、账号、数据和10~20条用例
• 指定一名日常接口人
• 参与启动会和最终汇报
适用于模式 A 已完成,客户希望亲自使用 SaaS 平台的情况。
• 提供 1 小时平台培训
• 提供用例编写指导
• 提供自动化实施文档
• 4 小时内响应日常问题
• 每日跟进客户试用情况
• 周末整理试用结果
• 协助客户内部汇报
• 自行导入用例
• 生成和调试脚本
• 创建任务并执行
• 记录试用结果
• 反馈问题和使用感受
适用于模式 A 已完成,且客户必须采用私有化部署的情况。
• 服务器、CPU、内存、GPU 和存储
• 上位机、测试设备和网络
• 操作系统、容器和数据库环境
• 可用大模型和推理资源
• 安全和权限审批
• 现场接口人
• 完成安装部署
• 进行环境调试
• 验证模型和算力能力
• 每周提供 2 天现场支持
• 协助客户开展两周试用
• 完成结项总结和内部汇报
| 问题类型 | 主要处理人 |
|---|---|
| 用例、脚本、普通调试 | 交付 |
| 平台缺陷、模型和 Token | 产品 |
| 网络、账号、权限和数据 | 客户接口人 |
| 关键人、资源和商务协调 | 销售 |
| 技术方案和汇报口径 | 售前 |
# TestClaw POC 日报——第 X 天
项目名称:__________________
日期:__________________
负责人:__________________
1. 今日目标
(列出今天计划完成的核心任务)
2. 实际完成内容
(列出今天实际完成的工作)
3. 关键数据
• 标准化用例数:____ • 脚本生成数:____ • 脚本固化数:____
• 执行轮次:____ • 脚本执行通过率:____ • 平均执行耗时:____
• 稳定性:____ • 用例采纳率:____ • Token 消耗:____
4. 遇到的问题
客户侧问题:
(客户环境、账号、数据相关问题)
我方问题:
(平台、脚本、资源相关问题)
5. 客户配合情况
好 / 一般 / 差
6. 风险和升级情况
7. 明日计划
8. 相关附件
- 📄 客户准入表
- 📄 决策链
- 📄 资源清单
- 📊 启动会 PPT
- 📝 会议纪要
- 📋 联系人表
- 📋 标准化用例集
- 📝 用例调整日志
- ✅ 环境检查表
- 🤖 固化脚本
- 📝 调试记录
- 📊 采纳率和Token统计
- 📊 三轮执行统计
- 📄 任务报告
- 📸 截图/日志/视频
- 🩹 自愈报告
- 🔍 错误分析报告
- 📋 失败场景清单
- 📊 数据底表
- 📊 汇报PPT v1
- 📊 人效对比表
- 📊 汇报PPT v2
- 📝 内部评审纪要
- ❓ 客户问答清单
- ✅ 满意度单
- 📝 汇报纪要
- ✉️ 感谢邮件
- 📦 完整POC资料包
- 🔧 整改方案
- 📋 销售移交单
- 1️⃣ 交付当天升级销售和产品
- 2️⃣ 销售在 24 小时内与客户沟通
- 3️⃣ 明确暂停、调整或终止
- 4️⃣ 保留完整证据
- 5️⃣ 通过邮件或签字正式关闭
- 6️⃣ 完成内部归档和复盘
案例 #1 弹框场景——先点击再输入
场景:AI直接input输入导致误触其他元素,应先click聚焦再input。
问题:页面同时存在多个可点击元素时,AI未先点击聚焦就直接输入,导致输入到错误位置。
原因:模型对"先聚焦再输入"的Web交互模式理解不足。
方案:修改step_generation.md提示词,增加规则"需要输入内容时,先click聚焦,再input输入"。
效果:此类场景通过率从~40%提升至~85%。
案例 #2 页面加载——自动追加等待步骤
场景:操作执行成功后页面需要加载时间(跳转、加载列表)。
问题:下一步截图时页面尚在加载中,AI对中间态页面判断错误导致执行失败。
原因:操作成功后元素虽已变化但页面响应需要时间,AI截图时过早。
方案:操作执行成功后自动追加sleep等待步骤,确保下一轮截图时页面已稳定。
效果:页面跳转类场景通过率显著提升。
案例 #3 最终返回——追加等待+备注展示结果
场景:执行完成后需要让操作人员直观了解执行结果。
问题:操作人员无法直接看到AI的判断结论(成功/失败及原因),需翻阅日志。
方案:最终返回时追加等待1秒步骤,在备注(des)字段展示AI的成功思考过程或失败原因。
效果:操作人员无需翻阅日志即可了解每条用例的执行结论,人工复核时间降低。
案例 #4 cutBounds——限定区域定位重复元素
场景:页面存在多个相似元素(同名按钮、重复列表项),需精确定位。
问题:ifind定位到错误的同文本元素。
方案:提示词增加规则——多相似元素时使用cutBounds指定屏幕区域范围;IntentMapper将cutBounds参数透传给TestinPro限制查找范围。
案例 #5 movePoints——自定义滑动距离
场景:长列表/长页面需要特定距离滑动。
问题:默认滑动距离不适配当前页面,目标元素被划过或未到达。
方案:提示词增加movePoints规则,允许AI根据页面情况指定滑动起止坐标。
案例 #6 设备注展示思考过程
场景:审核人员需要了解AI每步操作的决策原因。
问题:脚本只有操作步骤,无法了解AI决策依据,提示词调优时需翻阅日志。
方案:将AI思考过程写入步骤备注(des)字段,格式:"思考:[AI决策依据] 执行:[操作描述]",审核人员直接在脚本列表中查看。
案例 #7 if_click——条件点击(弹窗处理)
场景:权限弹窗、版本更新提示、首次使用引导——这些弹窗只在特定条件下出现。
问题:agent_click强制执行的步骤在回放时弹窗不出现则执行失败,导致脚本中断。
方案:新增if_click操作类型——"如果target存在则点击value"。回放时弹窗出现则自动处理,不出现则跳过。
效果:解决了"首次执行弹窗通过,回放时无弹窗却失败"的经典问题。
案例 #8 新增操作类型——拖拽/悬停/快捷键/系统命令
场景:需要拖拽排序、鼠标悬停、键盘快捷键(CTRL+C等)、系统命令(adb/hdc)等复杂操作。
方案:新增操作类型——drag(拖拽)、hover(悬停)、press_key(键盘按键)、func_key(功能键)、pc_cmd/hdc_cmd/adb_cmd(系统命令)、assign(变量赋值)、call_script(调用子脚本)。
案例 #9 多次滑动合并为"滑动直到找到"
场景:长列表页面需多次滑动才能找到目标元素。
问题:AI生成多次滑动+查找步骤,回放时若元素不在预期位置则全部失败。
方案:后处理阶段合并多次滑动为"滑动直到找到XX元素"的复合操作,使用统一movePoints轨迹,TestinPro自动循环直到找到目标。
效果:长列表场景回放稳定性大幅提升。
案例 #10 agent_assert——AI视觉断言替代精确文本匹配
场景:需要验证"确认XX提示""验证XX显示"等页面状态断言。
问题:assert使用ifind精确文本匹配,动态页面细微差异(多余空格、换行等)直接判定失败。
方案:新增agent_assert操作类型,使用AI视觉判断替代精确文本匹配,提示词中强化断言使用指导。
效果:大幅减少因文本格式细微差异导致的误判失败。
案例 #11 模板——待补充案例
(此案例为DOCX中的空白模板,用于记录新的客户问题场景)
场景:___ 问题:___ 原因:___ 方案:___ 效果:___
所有客户定制通过Markdown规则文件完成,无需修改底层代码逻辑。
用自然语言描述"什么情况下该怎么做",AI模型直接理解执行。
每个客户的规则存放在独立目录,互不影响,支持多客户并行服务。
当客户规则与平台默认规则冲突时,AI以客户规则为准。
| 要素 | 写法 | 原理 |
|---|---|---|
| 触发条件 (When) | 用加粗标注关键词,如"弹窗""安全键盘" | 模型通过关键词匹配触发规则,加粗增加识别权重 |
| 正确做法 (Do) | 用"需要""要""使用"等肯定指令词 | 肯定指令 > 模糊建议,OpenAI研究证实肯定指令更有效 |
| 示例 (Example) | 提供AI应输出的目标格式和内容 | Few-shot示例是最强的约束,模型会直接模仿格式和内容 |
| 禁止事项 (Don't) | 用"禁止""不要""不能"等否定词(可选但强烈推荐) | 排除错误路径,减少模型在多个选项间摇摆 |
| 原因说明 (Why) | 简短说明为什么要这样做 | 帮助AI理解规则背后的业务逻辑,从而更准确地执行 |
✅ 必须有示例——没有示例的规则效果大打折扣,AI需要格式参考
✅ 一条规则只做一个事——不要把多个需求混在一个规则里
✅ 用"禁止""不要"做硬约束——明确告诉AI不能做什么
✅ 用具体描述代替模糊描述——"输入你好并发送"优于"发送一条消息"
✅ 关键词与页面实际文字一致——模型会用关键词去匹配截图中的文字
✅ 禁止覆盖高频错误——如果某个错误反复出现,加一条"禁止"比加示例更有效
⚠️ 只支持.md格式——其他格式会被忽略
⚠️ 检查规则冲突——新增规则前检查是否与已有规则矛盾
📚 TestClaw POC 知识库 —— 由源文档结构化生成
源文件:TestClaw_POC人员具体工作说明.md + TestClaw 产品说明.docx