桌面 computer-use / GUI Agent 一热,最容易翻车的不是「不会点」,而是乱点、乱输入、失败还猛重试.vercel-labs/agent-desktop 一类工具把系统无障碍树快照与点击/输入做成 CLI,方便 Agent 运维真实桌面。结论先说:先用提示词把快照、点选、确认、回滚写成可复制护栏,再谈提高自主度. Este artículo esEstructura de polimerización:一篇一场景(桌面 GUI Agent 运维),矩阵 + 10 条可复制提示词 + 怎么改一轮。不用清单图顶替正文。

场景:桌面 GUI Agent 运维,不是聊天陪练
运维场景的目标通常是:打开指定应用、点到正确按钮、填表、必要时回滚。agent-desktop 公开描述强调:读原生应用无障碍树、返回带 ref 的 JSON 快照,并支持 click/type/键盘/鼠标/剪贴板/截图/窗口管理等。浏览器自动化是另一条线(例如同门的 agent-browser 方向),本篇聚焦桌面 GUI.

Actividades que se pueden realizar esta noche:在测试机安装 agent-desktop(以官方 README / npm 说明为准),只跑一次只读快照,确认输出里有窗口与 ref。
提示词矩阵:目标 × 风险等级

| objetivos | 低风险(默认开) | 高风险(默认双确认) |
|---|---|---|
| 观察 | P01 只读快照 | - |
| golpe (en el teclado) | P02 安全点选 | P04 高风险双确认 |
| 输入 | P03 输入前确认 | P09 剪贴板护栏 |
| 批量 | P07 批量限额 | P05 回滚计划 |
| 失败/收尾 | P06 失败截图包 | P10 会话结束复位 |
编排多步骤时,可参考多智能体/任务拆分的公开实践,但桌面副作用仍以本表风险列为准——拆得再漂亮,也不能跳过确认。

Actividades que se pueden realizar esta noche:把你的 Top 5 桌面任务标进矩阵格子,缺高风险确认的先补 P04/P05。
可复制提示词(快照 / 点选 / 确认 / 回滚)

下列提示词可直接复制;把提示词里的 button_label / app_name 占位符换成你的值。建议作为 system 或 tool-preamble,而不是偶尔想起来才贴。
P01 只读快照
你是桌面运维 Agent。只调用可访问性快照/截图类只读工具,描述当前前台窗口标题、关键按钮文案与焦点控件。禁止点击、禁止输入、禁止改剪贴板。输出:窗口标题、可见主按钮列表、你不确定的控件。
P02 安全点选
在已提供的元素 ref 列表中,点击文案完全等于「{button_label}」的按钮。若无精确匹配:列出候选 ref 并停止,等待人工确认。禁止模糊点击「看起来像」的按钮。
P03 输入前确认
将把文本写入当前焦点输入框。先复述:目标控件名、将写入的完整字符串、是否清空原内容。等待用户回复「确认」后才 type。用户未确认前禁止按回车提交。
P04 高风险双确认
检测到操作属于:删除文件 / 发送邮件 / 支付 / 覆盖保存。必须输出风险级别=高,并要求用户输入短语「我确认执行」。短语不完整则中止。
P05 步骤回滚计划
在执行写操作前,用三条 bullet 写出回滚计划:如何撤销、需要哪些备份、失败时停止条件。没有回滚计划禁止继续。
P06 失败截图包
上一步工具调用失败。不要重试超过 1 次。立即做一次只读快照,输出:错误信息原文、当前窗口、你建议的人工检查点。
P07 批量点选限额
需要对列表中每行执行相同点击。先声明将处理的行数 N;若 N>10,只处理前 10 行并请求继续指令。禁止静默跑完全表。
P08 跨应用切换
需要切换到应用「{app_name}」。只用窗口管理/启动类工具;切换后先只读快照确认标题匹配,再进行下一步。标题不匹配则停止。
P09 剪贴板护栏
允许读取剪贴板以粘贴到目标框,但禁止把剪贴板内容发送到任何网络接口或日志服务。粘贴后复述前 20 个字符供人工核对(超长打码)。
P10 会话结束复位
任务结束或用户说停。释放按键状态、取消未完成拖拽、输出本会话做过的写操作清单(路径/按钮)。若无写操作,明确写「无副作用」。
Actividades que se pueden realizar esta noche:只挑 P01+P02+P04 三条进你的 Agent 配置,跑一次故意「点错按钮文案」的测试,确认它会停。
怎么挑、怎么改一轮
- 先按风险列选模板,不要先追求「全自动一次说完」。
- 改一轮只改一件事:要么收紧匹配(精确文案),要么加确认短语,要么降重试。
- 用同一失败录像/快照验证改动;没有失败样例就先制造一个安全的失败。
- computer-use 模型再便宜,也替换不了确认护栏——价差买的是吞吐,不是免责金牌。
Actividades que se pueden realizar esta noche:把「改动前/后」各保存一份提示词 diff,截图进团队文档。
今晚落地与第一周习惯
- 测试机与生产机隔离;生产默认关闭批量与高风险工具;
- 每周重放 5 条失败样例;
- 新应用接入前先只跑 P01 一周;
- 提示词与工具 allowlist 同 PR 评审。
收尾:桌面 Agent 运维 → 矩阵选模板 → 10 条护栏提示词 → 小步改一轮。agent-desktop 把点击与快照的轮子备好了;你要先把「何时敢点」写进提示词。


评论列表 (0条):
加载更多评论 Cargando...