外观
07 识别与动作
工作方式
节点先执行识别。命中后可以执行动作;只有节点自身的识别、动作、等待和执行后阶段都成功,才沿 成功连线进入下一节点。其中任一阶段失败时沿 失败连线继续,后继节点的结果不会反向改写当前节点。新手应先验证识别,再添加会操作目标窗口的动作。
常用识别
| 识别类型 | 用途 | 关键设置 |
|---|---|---|
| 无识别 | 不检查画面,节点被扫描时直接命中 | 无 |
| 找图 | 在画面中查找模板图片 | 模板、匹配阈值、结果序号、识别范围 |
| 比色/找色 | 比较或查找指定颜色 | 颜色、相似度、识别范围 |
| OCR | 读取指定范围内的文字 | 模型、期望文字、阈值、识别范围 |
| 点阵 OCR | 使用项目字库识别点阵文字 | 颜色、字库、阈值、识别范围 |
| YOLO | 使用项目 ONNX 模型识别目标物体 | 模型、标签、目标类别、阈值、排序、范围 |
找图默认匹配阈值为 0.9。阈值越接近 1要求越严格;不要用大幅降低阈值来掩盖模板不合适的问题。
图色、YOLO 与 OCR 的完整字段说明见节点配置参考:图色与 YOLO 识别和OCR 识别。YOLO 模型导入、检测调试、数据标注和训练见YOLO 识别与训练指南。
用于测试分支而不读取真实画面的模拟识别与模拟动作,见节点配置参考:模拟识别与模拟动作。
常用动作
当前可运行的常用动作包括点击、滚轮、拖拽、按键点击、文本输入、获取时间和停止任务。配置动作前确认:
- 目标窗口绑定有效。
- 坐标基于目标客户区。
- 点击和按键不会造成不可逆操作。
- 已设置适当延迟,避免目标窗口尚未更新就进入下一步。
点击、滚轮、拖拽和按键点击的坐标、方向、次数、按键与必填规则见节点配置参考:鼠标动作和键盘与任务动作。按住按键和松开按键只用于电脑端,必须成对设计并保证异常路径也能释放按键。
获取时间、节点截图、执行后写入及按住/松开按键见节点配置参考:数据、截图与其余动作和执行后写入与锚点。
目标平台筛选
编辑器根据当前绑定目标筛选识别、动作和参数。PC 与 VNC 使用电脑端能力;切换目标后,不属于当前平台的选项不会作为新配置提供。项目里已经保存的不兼容动作或参数不会被静默删除,而会保留并在运行、导出或打包前给出明确诊断。
遇到不兼容提示时,切回该配置原本所属的目标删除或修改字段,再切换到最终目标验证。不要手工编辑项目文件清除未知字段。VNC 的实际输入限制见VNC 虚拟机绑定。
需要先创建数据,再用 识别前条件读取或在 执行后写入时,按数据参考完成整个数据工作流。
导入抓抓识别代码
- 在抓抓中完成识别测试并选择 生成代码。
- 复制完整生成内容。
- 选择目标节点,在 节点配置中打开 导入抓抓识别代码。
- 粘贴并选择 导入。
- 核对识别类型、模板、阈值和识别范围。
模板应进入当前项目资源,节点中使用项目相对资源,而不是依赖外部绝对路径。
无副作用验证
第一次运行时将动作保持为 无动作,只连接成功后继并观察日志。识别稳定后,再添加点击或键盘动作。
常见问题
识别成功但点击位置错误
先删除或禁用动作,只验证识别坐标。确认目标客户区尺寸未变化,再检查动作偏移和随机偏移。
OCR 一直失败
OCR 必须填写识别范围。确认模型可用、范围内确实有文字,再调整期望文字和阈值。
导入后模板为空
保持抓抓窗口打开,确认模板仍在右侧 图片表格中并已勾选,再重新生成完整内容并导入。不要手工拼接模板路径。