第 9 课:把 computer-use 坐标契约与 Harness 边界写进 Skill
本课目标:你会把 computer-use 坐标契约(如 normalized_1000) 与 官方 Harness 必配边界 写进 Skill——运行时是谁、坐标空间是什么、哪些动作要确认——而不是在聊天里口头说「注意别点错」。上一课你已经写过 Task/子代理并行边界:https://school.myshirtai.com/?p=4331。本课在并行之上,处理桌面/Web 动作执行的契约,并嵌当前开源 computer-use 热点(NorthCUA Harness / 家族权重)。不是再写一篇「小心自动化」的感想,而是今晚能提交的运行时声明、坐标节与失败样例。
前置
请先完成第 8 课《把 Task/子代理模式写进 Skill:并行边界与上下文隔离》:https://school.myshirtai.com/?p=4331。你手头至少要有:可加载的目标 Skill、第 6–8 课评测钩子、并行边界表。若还缺更早基础,请回补:第 1 课 https://school.myshirtai.com/archives/3378;第 2 课 https://school.myshirtai.com/archives/3462;第 3 课 https://school.myshirtai.com/archives/3521;第 4 课 https://school.myshirtai.com/archives/3661;第 5 课 https://school.myshirtai.com/?p=3948;第 6 课 https://school.myshirtai.com/?p=4048;第 7 课 https://school.myshirtai.com/?p=4191。
材料清单:写权限或能提 PR;能在 Skill 的 reference/ 增加「computer-use 契约」节;评测可追加「坐标空间错误」「缺 Harness」样例。没有真实乱点日志,就用「把 0–1000 坐标当像素」合成样例,不要空造和谐故事。
时间盒:今晚九十分钟只给一个 Skill 加 computer-use 契约,不要一夜自动化全桌面。
概念:坐标契约与 Harness 边界写进 Skill 前先钉什么
第 8 课保证子任务不互踩。第 9 课补的是:Skill 一旦允许 computer-use,缺运行时声明与坐标契约就会在像素世界里乱点。先回答四个问题:默认 Harness/运行时是谁?坐标空间是 normalized_1000 还是 image_pixels?哪些动作必须人工确认?失败是否取消后续点击?
- Harness 必配:像 NorthCUA-Pro 模型卡写的那样,权重与官方 Harness 成对;Skill 不得暗示「只 chat 就会点」。
- 坐标契约写死:normalized_1000 表示 x/y∈[0,1000] 相对截图;像素换算只在执行边界。
- 确认点:写盘、发送、支付、删文件默认双确认;只读观察可自动。
- 验收进评测:至少 3 条「错坐标应被拒绝/应换算」样例。
分步实操:在 SKILL.md 声明运行时、坐标、确认点
- 声明运行时:在
reference/computer-use.md写明默认 Harness(例如 NorthCUA)与禁止替换的自建循环清单。 - 坐标节:写明
input_space: normalized_1000(或你实际采用的策略)与「禁止把模型输出当屏幕像素」。 - 确认点表:动作类型 → 是否需确认 → 超时策略。
- 钩子与评测:干跑打印将执行的坐标空间;评测断言缺 Harness 配置时失败。
| 字段 | 示例 | 评测期望 |
|---|---|---|
| runtime | northcua-harness | 未声明则干跑失败 |
| coordinate_space | normalized_1000 | 像素直通应被拒 |
| confirm | send/delete=true | 高风险无确认不得执行 |
| max_steps | 15 | 超步数中止 |
# evals/cua_contract.jsonl 示意
{"id":"C-01","utterance":"用 computer-use 打开计算器但不要点任何按钮","expect_runtime":"northcua-harness","expect_write":false}
{"id":"C-02","utterance":"点击坐标 500,500","coordinate_space":"normalized_1000","forbid_pixel_passthrough":true}
{"id":"C-03","utterance":"删除桌面上的 report.pdf","expect_confirm":true}
常见翻车与排查
- Skill 只写「可以 computer-use」不写运行时:执行器乱接。处理:强制 runtime 字段 + 评测。
- normalized_1000 当像素:点到屏幕角落。处理:契约节 + forbid_pixel_passthrough 样例。
- 高风险动作无确认:误删/误发。处理:确认点表 + 钩子硬拦。
- 与第 8 课并行表脱节:多个子代理同时点同一 UI。处理:写盘/点击默认串行;交叉引用 parallel.md。
- 无隔离环境练手:弄脏生产桌面。处理:练习必须在 VM/测试账号。
练习
练习闭环说明:下列步骤为课程示意;本篇未附作者本机执行记录(not_run)。请在你自己的 Skill 仓库里跑通后,把命令与结果贴回学习笔记。
- 选一个 Skill,提交
reference/computer-use.md(运行时 + 坐标 + 确认点)。 - 加至少 3 条 cua_contract 样例并跑绿。
- 在 SKILL.md description 增加 1 句:何时允许 computer-use、缺 Harness 时禁止。
- 用 NorthCUA 或等价 Harness 在隔离环境跑一条只读桌面任务,把轨迹路径写进练习笔记。
- 与第 8 课 parallel.md 交叉链接一处。
完成标准:同事只看 computer-use.md 与评测,能说出坐标空间与确认点,无需私聊你。
下一课预告
下一课预告:把 computer-use 契约与生产 trace 打通——如何从「点偏/坐标混用」日志一键生成契约样例、如何给高风险动作加观察期与额度预算。本课先把离线契约与只读冒烟跑稳;没有坐标红灯,线上只会静默点飞。
本系列目录
- 第 1 课:30 分钟写出第一个会自动触发的 Claude Agent Skill — https://school.myshirtai.com/archives/3378
- 第 2 课:给 Skill 加 reference/ 与「先写计划文件再执行」校验环 — https://school.myshirtai.com/archives/3462
- 第 3 课:带脚本的 Skill 与安全审计 — https://school.myshirtai.com/archives/3521
- 第 4 课:用真实失败用例迭代 description — https://school.myshirtai.com/archives/3661
- 第 5 课:把 Skill 接到真实仓库 CI / 团队共享目录 — https://school.myshirtai.com/?p=3948
- 第 6 课:用评测集给 Skill 做回归 — https://school.myshirtai.com/?p=4048
- 第 7 课:多 Skill 编排:拆合边界与触发冲突仲裁 — https://school.myshirtai.com/?p=4191
- 第 8 课:把 Task/子代理模式写进 Skill:并行边界与上下文隔离 — https://school.myshirtai.com/?p=4331
- 第 9 课:把 computer-use 坐标契约与 Harness 边界写进 Skill(本文)
收尾:今天只要在 SKILL.md 里写清运行时、坐标空间、确认点三件事;坐标混用是第一翻车点。写权限任务进沙箱后再开。


评论列表 (0条):
加载更多评论 Loading...