🔍
📌
一、POC 概览
TestClaw POC 的核心目标和验证范围
🎯 POC 是什么?

POC(Proof of Concept,概念验证)的核心任务,是使用客户提供的真实系统、账号、数据和测试用例,验证 TestClaw 是否能够将测试用例生成可执行脚本、支持脚本批量调度执行,并保持较高的通过率和稳定性。最终目标是获得客户满意度确认,为后续立项和采购提供依据。

🔧 验证能力 1-3
  • ✅ 将测试用例生成可执行脚本
  • ✅ 支持脚本批量调度和连续执行
  • ✅ 保持较高的执行通过率和稳定性
🛡️ 验证能力 4-6
  • ✅ 展示脚本自愈和错误分析能力
  • ✅ 形成完整的数据、报告和汇报材料
  • ✅ 获得客户满意度确认,推动立项采购
📋 POC 判定标准
✅ 通过:3项核心指标全部达标 ⚠️ 有条件通过:2项达标+1项接近(差距≤10%) ❌ 不通过:最多1项达标 或 客户满意度≤3分
👥
二、角色职责
5个关键角色及其在POC中的核心工作
销售人员
客户准入 · 资源协调 · 商务推进
  • 判断客户是否适合开展 POC
  • 确认客户预算、采购计划和关键决策人
  • 推动客户签署 POC 准入表
  • 确认是否需要签署 NDA
  • 协调客户提供环境、账号、数据和用例
  • 处理重大问题和资源协调
  • 组织最终客户汇报
  • 推动满意度签字、立项、报价和合同
售前人员
方案说明 · 汇报材料 · 技术支撑
  • 准备并讲解启动会 PPT
  • 向客户说明目标、范围和成功标准
  • 协助交付整理 POC 数据
  • 制作和优化客户汇报材料
  • 准备客户可能提出的问题及回答
  • 在立项和招标阶段提供技术方案支持
交付/POC执行人员
主要执行者 · 脚本生成 · 数据记录
  • 检查客户环境、账号、设备和测试数据
  • 熟悉客户系统和业务流程
  • 清洗和规范客户测试用例
  • 生成、调试和固化脚本
  • 组织脚本批量执行和连续 3 轮验证
  • 记录通过率、耗时、稳定性和 Token 消耗
  • 验证自愈和错误分析能力
  • 维护问题登记表,每天输出 POC 日报
  • 整理截图、日志、视频和测试报告
  • 归档全部 POC 交付物
产品人员
平台支持 · 缺陷处理 · 能力边界
  • 准备平台账号和 Token
  • 处理平台缺陷、模型问题和功能异常
  • 协助分析无法解决的执行问题
  • 支持私有化部署和模型资源准备
  • 确认平台能力边界,避免对客户过度承诺
客户接口人
资源协调 · 业务解释 · 问题配合
  • 提供测试环境、账号、数据和用例
  • 协调网络、权限、设备和业务人员
  • 解释客户业务流程
  • 配合确认环境类问题
  • 处理客户侧账号、数据和系统问题
  • 协调测试负责人和关键决策人参加会议
🔄
三、整体执行流程
从客户准入到签约的端到端流程
🏁 客户准入评估
启动前准备
Day1
用例标准化+脚本生成
Day2
批量执行+自愈验证
Day3
数据整理+汇报材料
客户汇报+满意度签字
🎯 立项·报价·招标·签约
🔍 启动前关键检查清单
✅ 环境可以访问
✅ 账号可以登录
✅ 测试数据可用
✅ 测试用例已收到
✅ 平台账号已开通
✅ Token 配额已确认
✅ 客户接口人已明确
✅ POC 目标和成功标准已确认
📅
四、模式 A:3天集中验证执行计划
TestClaw POC 标准执行方式——逐半天拆解

💡 每个时段均可点击展开查看详细内容。绿色 = 环境/用例准备 | 蓝色 = 脚本工作 | 橙色 = 执行验证 | 紫色 = 汇报总结

DAY 1 上午
🔰 熟悉环境并规范用例
📋 需要做什么
  • 登记客户环境、账号、设备、数据和用例
  • 检查网络、URL、安装包、VPN 和白名单
  • 验证账号是否具备目标业务权限
  • 手工走通客户核心业务流程
  • 了解场景目的、前置条件和预期结果
  • 检查客户用例是否完整
  • 补充缺失的前置条件、步骤、输入数据
  • 将多个动作拆分成清晰步骤
  • 与客户确认修改后的用例
  • 形成 10~20 条标准化用例
📦 主要产出
  • 标准化用例集
  • 用例调整日志
  • 环境资源检查表
  • 问题登记表
✅ 完成标准
  • ☑ 环境和账号正常
  • ☐ 核心业务流程已手工走通
  • ☐ 测试数据可重复使用
  • ☑ 典型用例已完成标准化
  • ☐ 用例修改已与客户确认
DAY 1 下午
🤖 生成、调试和固化脚本
📋 需要做什么
  • 将标准化用例导入 TestClaw
  • 批量生成自动化脚本
  • 记录生成时间和 Token 消耗
  • 检查 AI 生成的点击、输入、滑动、等待和校验步骤
  • 标记保留、修改、删除和人工新增的步骤
  • 计算用例到脚本步骤采纳率
  • 修改错误定位、输入参数、等待时间
  • 逐条调试脚本并保存失败截图和日志
  • 确保每条脚本至少完整执行通过一次
  • 记录每条脚本的人工固化耗时
📦 主要产出
  • 固化脚本集
  • 脚本调试记录
  • 步骤采纳率统计
  • 生成耗时和 Token 统计
  • 更新后的问题登记表
✅ 完成标准
  • ☑ 所有标准化用例已生成脚本
  • ☑ AI 生成步骤已人工审核
  • ☑ 脚本问题已完成修改
  • ☐ 每条脚本至少完整通过一次
  • ☐ 生成和固化数据已记录
DAY 2 上午
⚡ 批量执行和稳定性验证
📋 需要做什么
  • 创建批量执行任务
  • 选择脚本、设备、账号、数据和执行环境
  • 确保 3 轮执行使用相同配置
  • 每轮执行前恢复测试数据
  • 连续执行 3 轮
  • 记录每轮成功数、失败数和环境异常数
  • 保存任务报告、截图、日志和视频
  • 计算脚本执行通过率
  • 计算平均单用例执行耗时
  • 计算 3 轮执行稳定性
  • 与客户共同确认剔除的环境因素
📦 主要产出
  • 3 轮执行统计表
  • 任务执行报告
  • 截图、日志和视频
  • 环境因素确认记录
  • 失败原因分类记录
✅ 完成标准
  • ☑ 已完成连续 3 轮执行
  • ☑ 每轮数据均已记录
  • ☐ 通过率已计算
  • ☐ 稳定性已计算
  • ☐ 环境因素已双方确认
  • ☐ 原始执行证据已保存
DAY 2 下午
🩹 验证自愈和错误分析
📋 需要做什么
  • 选择已经正常通过的脚本
  • 设计可恢复的异常场景
  • 模拟弹框、页面变化、步骤缺失、数据异常
  • 观察系统是否触发自愈
  • 记录系统调整的定位、参数或执行策略
  • 判断自愈后是否最终完成业务流程
  • 计算自愈成功率
  • 检查系统给出的失败原因
  • 人工判断问题归属(环境/脚本/数据/产品)
  • 计算错误分类准确率
  • 选择典型案例用于客户汇报
📦 主要产出
  • 自愈验证记录
  • 错误分析报告
  • 模拟失败场景清单
  • 典型案例截图或视频
  • 更新后的问题登记表
🧪 验证场景设计
  • 弹框拦截(权限、更新、提示)
  • 页面结构变化(改版、A/B测试)
  • 步骤缺失(跳过某步直接执行)
  • 数据异常(字段为空、格式错误)
  • 网络波动(加载慢、超时)
DAY 3 上午
📊 整理数据和制作汇报材料
📋 需要做什么
  • 汇总用例、脚本、执行、自愈和问题数据
  • 建立统一数据底表
  • 核对指标分子、分母和统计口径
  • 计算场景覆盖度、通过率、耗时、稳定性
  • 计算步骤采纳率、脚本完整度、提效倍数
  • 与客户手工回归方式进行对比
  • 整理过程截图、日志和视频
  • 制作 POC 汇报 PPT
  • 对客户数据进行脱敏
📦 主要产出
  • POC 数据底表
  • 汇报 PPT v1
  • 演示视频
  • 截图和日志目录
  • 人效对比表
📑 汇报材料建议内容
  • 1. 客户原有问题
  • 2. POC 目标和范围
  • 3. 3 天执行过程
  • 4. 核心指标
  • 5. AI 脚本生成效果
  • 6. 批量执行和稳定性
  • 7. 自愈和错误分析案例
  • 8. 与手工回归的对比
  • 9. 当前问题和限制
  • 10. POC 判定和后续建议
DAY 3 下午
🔍 内部评审和材料修订
👥 参加人员
  • 销售
  • 售前
  • 交付
  • 产品
各角色重点检查:
• 销售:是否支持立项,回答客户决策问题
• 售前:汇报逻辑、业务价值、客户问答
• 交付:数据真实性、指标口径、原始证据
• 产品:产品能力边界、缺陷和风险说明
📦 主要产出
  • 汇报 PPT v2
  • 内部评审纪要
  • 客户问答清单
  • 整改方案
  • POC 判定建议
📋 POC 判定
  • 通过 3项核心指标全部达标
  • 有条件通过 2项达标+1项接近(≤10%)
  • 不通过 最多1项达标或满意度≤3分
📊
五、POC 核心指标
★ 标记为核心指标,直接影响 POC 通过判定
场景覆盖度 ★核心
可脚本化场景数 ÷ 客户提供场景总数
≥80%
脚本执行通过率 ★核心
成功脚本数 ÷ 有效执行脚本总数
≥95%
执行稳定性 ★核心
3轮通过率最大值 − 最小值
≤5%
平均单用例执行耗时
总执行耗时 ÷ 有效脚本数
≤3分钟
步骤采纳率
保留AI步骤数 ÷ AI输出步骤数
≥80%
AI脚本步骤完整度
AI生成步骤数 ÷ 最终固化总步骤数
≥60%
脚本提效倍数
纯手工耗时 ÷ AI生成和固化总耗时
≥1倍
自愈成功率
成功自愈数 ÷ 触发自愈数
待确认
错误分类准确率
正确分类数 ÷ 人工复核失败数
待确认
全量回归总耗时
批量任务开始到全部结束
按场景估算
平均人工固化耗时
固化总耗时 ÷ 脚本数
按场景估算
🔀
六、三种 POC 模式
根据客户情况选择适合的验证模式
🏢 模式 A:3天集中验证(标准模式)

TestClaw POC 的标准执行方式。我方人员主导,在客户环境中集中3天完成全流程验证。

我方主导
• 我方人员在客户现场或远程操作
• 负责全部脚本生成、调试、执行
• 制作汇报材料和数据底表
客户配合
• 提供环境、账号、数据和10~20条用例
• 指定一名日常接口人
• 参与启动会和最终汇报
☁️ 模式 B:客户离岸自助试用

适用于模式 A 已完成,客户希望亲自使用 SaaS 平台的情况。

我方支持
• 提供 1 小时平台培训
• 提供用例编写指导
• 提供自动化实施文档
• 4 小时内响应日常问题
• 每日跟进客户试用情况
• 周末整理试用结果
• 协助客户内部汇报
客户操作
• 自行导入用例
• 生成和调试脚本
• 创建任务并执行
• 记录试用结果
• 反馈问题和使用感受
🏗️ 模式 C:客户在岸私有化试用

适用于模式 A 已完成,且客户必须采用私有化部署的情况。

客户需准备
• 服务器、CPU、内存、GPU 和存储
• 上位机、测试设备和网络
• 操作系统、容器和数据库环境
• 可用大模型和推理资源
• 安全和权限审批
• 现场接口人
我方主要工作
• 完成安装部署
• 进行环境调试
• 验证模型和算力能力
• 每周提供 2 天现场支持
• 协助客户开展两周试用
• 完成结项总结和内部汇报
⚠️
七、问题管理与升级
标准处理流程、责任分配和升级触发条件
🔄 标准问题处理流程
🔍 发现问题
📝 记录问题
🏷️ 分类确认归属
📊 设置严重等级
👤 指定负责人
🔧 制定解决方案
✅ 完成处理
🔄 重新验证
📌 更新状态
✔️ 关闭问题
📋 日报同步摘要
👤 问题责任分配
问题类型主要处理人
用例、脚本、普通调试交付
平台缺陷、模型和 Token产品
网络、账号、权限和数据客户接口人
关键人、资源和商务协调销售
技术方案和汇报口径售前
🚨 当天需要升级的情况
❌ 环境整体不可用
❌ 核心账号无法使用
❌ 数据安全存在争议
❌ 平台无法生成或执行
❌ 核心指标明显无法完成
❌ 客户关键人持续缺席
❌ 可能触发暂停或终止
📝
八、每日 POC 日报模板
每天 18:00 前发送,包含8个固定板块

# TestClaw POC 日报——第 X 天

项目名称:__________________

日期:__________________

负责人:__________________

1. 今日目标

(列出今天计划完成的核心任务)

2. 实际完成内容

(列出今天实际完成的工作)

3. 关键数据

• 标准化用例数:____   • 脚本生成数:____   • 脚本固化数:____

• 执行轮次:____   • 脚本执行通过率:____   • 平均执行耗时:____

• 稳定性:____   • 用例采纳率:____   • Token 消耗:____

4. 遇到的问题

客户侧问题:

(客户环境、账号、数据相关问题)

我方问题:

(平台、脚本、资源相关问题)

5. 客户配合情况

/ 一般 /

6. 风险和升级情况

7. 明日计划

8. 相关附件

📦
九、POC 交付物清单
各阶段的产出物和归档要求
准入阶段
  • 📄 客户准入表
  • 📄 决策链
  • 📄 资源清单
启动阶段
  • 📊 启动会 PPT
  • 📝 会议纪要
  • 📋 联系人表
Day1 上午
  • 📋 标准化用例集
  • 📝 用例调整日志
  • ✅ 环境检查表
Day1 下午
  • 🤖 固化脚本
  • 📝 调试记录
  • 📊 采纳率和Token统计
Day2 上午
  • 📊 三轮执行统计
  • 📄 任务报告
  • 📸 截图/日志/视频
Day2 下午
  • 🩹 自愈报告
  • 🔍 错误分析报告
  • 📋 失败场景清单
Day3 上午
  • 📊 数据底表
  • 📊 汇报PPT v1
  • 📊 人效对比表
Day3 下午
  • 📊 汇报PPT v2
  • 📝 内部评审纪要
  • ❓ 客户问答清单
客户汇报后
  • ✅ 满意度单
  • 📝 汇报纪要
  • ✉️ 感谢邮件
最终归档
  • 📦 完整POC资料包
  • 🔧 整改方案
  • 📋 销售移交单
🚫
十、失败和退出标准
触发条件及处理要求
退出条件 1
客户连续 2 天未提供账号、数据或环境
退出条件 2
用例采纳率低于 50%,且无法通过标准化提升
退出条件 3
脚本执行通过率低于 50%,排除环境因素后仍无法改善
退出条件 4
客户关键决策人退出或失联超过 3 个工作日
退出条件 5
数据安全或合规争议短期内无法解决
📋 退出处理要求
  • 1️⃣ 交付当天升级销售和产品
  • 2️⃣ 销售在 24 小时内与客户沟通
  • 3️⃣ 明确暂停、调整或终止
  • 4️⃣ 保留完整证据
  • 5️⃣ 通过邮件或签字正式关闭
  • 6️⃣ 完成内部归档和复盘
💡
十一、案例库
来自产品说明文档的真实案例——问题发现→解决方案→效果验证
案例 #1 弹框场景——先点击再输入

场景:AI直接input输入导致误触其他元素,应先click聚焦再input。

问题:页面同时存在多个可点击元素时,AI未先点击聚焦就直接输入,导致输入到错误位置。

原因:模型对"先聚焦再输入"的Web交互模式理解不足。

方案:修改step_generation.md提示词,增加规则"需要输入内容时,先click聚焦,再input输入"。

效果:此类场景通过率从~40%提升至~85%。

案例 #2 页面加载——自动追加等待步骤

场景:操作执行成功后页面需要加载时间(跳转、加载列表)。

问题:下一步截图时页面尚在加载中,AI对中间态页面判断错误导致执行失败。

原因:操作成功后元素虽已变化但页面响应需要时间,AI截图时过早。

方案:操作执行成功后自动追加sleep等待步骤,确保下一轮截图时页面已稳定。

效果:页面跳转类场景通过率显著提升。

案例 #3 最终返回——追加等待+备注展示结果

场景:执行完成后需要让操作人员直观了解执行结果。

问题:操作人员无法直接看到AI的判断结论(成功/失败及原因),需翻阅日志。

方案:最终返回时追加等待1秒步骤,在备注(des)字段展示AI的成功思考过程或失败原因。

效果:操作人员无需翻阅日志即可了解每条用例的执行结论,人工复核时间降低。

案例 #4 cutBounds——限定区域定位重复元素

场景:页面存在多个相似元素(同名按钮、重复列表项),需精确定位。

问题:ifind定位到错误的同文本元素。

方案:提示词增加规则——多相似元素时使用cutBounds指定屏幕区域范围;IntentMapper将cutBounds参数透传给TestinPro限制查找范围。

案例 #5 movePoints——自定义滑动距离

场景:长列表/长页面需要特定距离滑动。

问题:默认滑动距离不适配当前页面,目标元素被划过或未到达。

方案:提示词增加movePoints规则,允许AI根据页面情况指定滑动起止坐标。

案例 #6 设备注展示思考过程

场景:审核人员需要了解AI每步操作的决策原因。

问题:脚本只有操作步骤,无法了解AI决策依据,提示词调优时需翻阅日志。

方案:将AI思考过程写入步骤备注(des)字段,格式:"思考:[AI决策依据] 执行:[操作描述]",审核人员直接在脚本列表中查看。

案例 #7 if_click——条件点击(弹窗处理)

场景:权限弹窗、版本更新提示、首次使用引导——这些弹窗只在特定条件下出现。

问题:agent_click强制执行的步骤在回放时弹窗不出现则执行失败,导致脚本中断。

方案:新增if_click操作类型——"如果target存在则点击value"。回放时弹窗出现则自动处理,不出现则跳过。

效果:解决了"首次执行弹窗通过,回放时无弹窗却失败"的经典问题。

案例 #8 新增操作类型——拖拽/悬停/快捷键/系统命令

场景:需要拖拽排序、鼠标悬停、键盘快捷键(CTRL+C等)、系统命令(adb/hdc)等复杂操作。

方案:新增操作类型——drag(拖拽)、hover(悬停)、press_key(键盘按键)、func_key(功能键)、pc_cmd/hdc_cmd/adb_cmd(系统命令)、assign(变量赋值)、call_script(调用子脚本)。

案例 #9 多次滑动合并为"滑动直到找到"

场景:长列表页面需多次滑动才能找到目标元素。

问题:AI生成多次滑动+查找步骤,回放时若元素不在预期位置则全部失败。

方案:后处理阶段合并多次滑动为"滑动直到找到XX元素"的复合操作,使用统一movePoints轨迹,TestinPro自动循环直到找到目标。

效果:长列表场景回放稳定性大幅提升。

案例 #10 agent_assert——AI视觉断言替代精确文本匹配

场景:需要验证"确认XX提示""验证XX显示"等页面状态断言。

问题:assert使用ifind精确文本匹配,动态页面细微差异(多余空格、换行等)直接判定失败。

方案:新增agent_assert操作类型,使用AI视觉判断替代精确文本匹配,提示词中强化断言使用指导。

效果:大幅减少因文本格式细微差异导致的误判失败。

案例 #11 模板——待补充案例

(此案例为DOCX中的空白模板,用于记录新的客户问题场景)

场景:___   问题:___   原因:___   方案:___   效果:___

📐
十二、客户规则编写指南
如何为特定客户场景编写AI行为规则(来自产品说明文档)
🎯 核心理念
只写规则,不改代码
所有客户定制通过Markdown规则文件完成,无需修改底层代码逻辑。
规则即自然语言
用自然语言描述"什么情况下该怎么做",AI模型直接理解执行。
客户隔离
每个客户的规则存放在独立目录,互不影响,支持多客户并行服务。
优先级:客户规则 > 平台规则
当客户规则与平台默认规则冲突时,AI以客户规则为准。
📝 规则编写5要素
要素写法原理
触发条件
(When)
加粗标注关键词,如"弹窗""安全键盘"模型通过关键词匹配触发规则,加粗增加识别权重
正确做法
(Do)
用"需要""要""使用"等肯定指令词肯定指令 > 模糊建议,OpenAI研究证实肯定指令更有效
示例
(Example)
提供AI应输出的目标格式和内容Few-shot示例是最强的约束,模型会直接模仿格式和内容
禁止事项
(Don't)
用"禁止""不要""不能"等否定词(可选但强烈推荐)排除错误路径,减少模型在多个选项间摇摆
原因说明
(Why)
简短说明为什么要这样做帮助AI理解规则背后的业务逻辑,从而更准确地执行
📄 规则编写模板(可直接复制使用)
- **[触发关键词]**: - 触发:[什么情况下触发] - 需要:[正确的操作方式] - 示例:[具体的操作输出文本] - 禁止:[不能怎么做](可选) - **安全键盘输入**: - 触发:页面出现"安全键盘"的按钮或输入区域 - 需要:先点击目标输入框激活,再使用 secure_input 操作输入 - 示例:{"intent": "click", "target": "密码输入框"} {"intent": "secure_input", "target": "密码输入", "value": "123456"} - 禁止:不要使用普通 input 操作,会触发安全键盘导致输入失败 - **发送消息**:需要发送聊天消息时,要使用"在…输入…并发送"。 示例:在 消息输入框 输入 你好,并发送 - **修改委托价格**:需要修改已存在的委托价格,找到当前的价格 生成的步骤是"双击+输入新价格"。
📋 规则编写要点速查
关键词加粗——用**双星号**标记重要关键词,提高AI识别权重
必须有示例——没有示例的规则效果大打折扣,AI需要格式参考
一条规则只做一个事——不要把多个需求混在一个规则里
用"禁止""不要"做硬约束——明确告诉AI不能做什么
用具体描述代替模糊描述——"输入你好并发送"优于"发送一条消息"
关键词与页面实际文字一致——模型会用关键词去匹配截图中的文字
禁止覆盖高频错误——如果某个错误反复出现,加一条"禁止"比加示例更有效
⚠️ 只支持.md格式——其他格式会被忽略
⚠️ 检查规则冲突——新增规则前检查是否与已有规则矛盾

📚 TestClaw POC 知识库 —— 由源文档结构化生成

源文件:TestClaw_POC人员具体工作说明.md + TestClaw 产品说明.docx

点击播放
1/12