Lección 9: Incorporar el contrato de coordenadas de uso del ordenador y los límites de Harness en Skill
Objetivo de esta lección: Sabrás... Contrato de coordenadas de uso informático (por ejemplo, normalized_1000) junto con Límites obligatorios del Harness oficial Anótalo en Skill —quién es el ejecutor, cuál es el espacio de coordenadas y qué acciones hay que confirmar— en lugar de decir verbalmente en el chat «cuidado, no pulses por error». En la lección anterior ya has escrito los límites de paralelismo de tareas/subagentes:https://school.myshirtai.com/?p=4331. En esta lección, además de la paralelización, se abordaEjecución de acciones en el escritorio/en la webel contrato, e incorporar los temas de actualidad en el ámbito del uso de ordenadores de código abierto (Arnés NorthCUA / Ponderación familiar). No se trata de escribir otra reflexión del tipo «cuidado con la automatización», sino de la declaración de tiempo de ejecución, la sección de coordenadas y los ejemplos de fallos que podré enviar esta noche.
Introducción
Por favor, completa primero la lección 8, «Implementación del patrón Task/subagente en una Skill: límites paralelos y aislamiento del contexto»:https://school.myshirtai.com/?p=4331. Debes disponer, como mínimo, de: la habilidad objetivo que se va a evaluar, los puntos de referencia para la evaluación de las lecciones 6 a 8 y la tabla de límites paralelos. Si te faltan conocimientos previos, repasa la lección 1. https://school.myshirtai.com/archives/3378; Lección 2 https://school.myshirtai.com/archives/3462; Lección 3 https://school.myshirtai.com/archives/3521; Lección 4 https://school.myshirtai.com/archives/3661; Lección 5 https://school.myshirtai.com/?p=3948; Lección 6 https://school.myshirtai.com/?p=4048; Lección 7 https://school.myshirtai.com/?p=4191.
Lista de requisitos: tener permisos de escritura o poder enviar PR; poder utilizar Skill en referencia/ Añadir la sección «Contrato de uso del ordenador»; en las pruebas se pueden añadir ejemplos de «error en el espacio de coordenadas» y «falta de arnés». Si no hay registros reales de clics aleatorios, se utilizarán ejemplos generados «considerando las coordenadas de 0 a 1000 como píxeles»; no se inventen historias para que todo quede bien.
Caja del tiempo: esta noche solo se concederán noventa minutosuno Combina las habilidades con el uso del ordenador; no automatices todo el escritorio de la noche a la mañana.
Concepto: ¿Qué hay que fijar antes de escribir el contrato de coordenadas y los límites de Harness en Skill?
La lección 8 garantiza que las subtareas no se solapen. La lección 9 complementa lo siguiente:Habilidad: en cuanto se permite el uso del ordenador, la falta de declaraciones en tiempo de ejecución y de acuerdos de coordenadas provocará clics aleatorios en el mundo de los píxeles.. Respondamos primero a cuatro preguntas: ¿Cuál es el Harness/entorno de ejecución predeterminado? ¿El espacio de coordenadas es «normalized_1000» o «image_pixels»? ¿Qué acciones deben confirmarse manualmente? ¿Un fallo anula los clics posteriores?
- Arnés: imprescindible:Tal y como se indica en la ficha del modelo NorthCUA-Pro, los pesos se emparejan con el Harness oficial; la habilidad no debe dar a entender que «basta con chatear para conseguirlo».
- Cláusula de coordenadas fija:«normalized_1000» indica que x/y ∈ [0, 1000] en relación con la captura de pantalla; la conversión de píxeles solo se realiza en los bordes.
- Puntos de control:Las operaciones de escritura en disco, envío, pago y eliminación de archivos requieren doble confirmación por defecto; las operaciones de solo lectura y observación pueden realizarse automáticamente.
- Prueba de aceptación:Al menos tres ejemplos del tipo «Las coordenadas erróneas deben rechazarse o deben convertirse».
Instrucciones prácticas paso a paso: declarar el tiempo de ejecución, las coordenadas y los puntos de referencia en SKILL.md
- Declaración en tiempo de ejecución:existe
reference/uso-del-ordenador.mdEspecifica el Harness predeterminado (por ejemplo, NorthCUA) y la lista de bucles propios que no se pueden sustituir. - Sección de coordenadas:Especificar
input_space: normalized_1000(o la estrategia que utilices en la práctica) y «prohibir que las salidas del modelo se traten como píxeles de pantalla». - Lista de puntos de control:Tipo de acción → ¿Es necesaria la confirmación? → Política de tiempo de espera.
- Gancho y reseña:Se ejecuta en el espacio de coordenadas en el que se realizará la impresión; la prueba falla si no hay una configuración de Harness.
| Campo | ejemplo típico | Expectativas de la reseña |
|---|---|---|
| tiempo de ejecución | northcua-harness | Si no se especifica, la ejecución fallará. |
| espacio de coordenadas | normalizado_1000 | El «pixel pass» debe rechazarse |
| confirmar | send/delete=true | 高风险无确认不得执行 |
| max_steps | 15 | 超步数中止 |
# evals/cua_contract.jsonl 示意
{"id":"C-01","utterance":"用 computer-use 打开计算器但不要点任何按钮","expect_runtime":"northcua-harness","expect_write":false}
{"id":"C-02","utterance":"点击坐标 500,500","coordinate_space":"normalized_1000","forbid_pixel_passthrough":true}
{"id":"C-03","utterance":"删除桌面上的 report.pdf","expect_confirm":true}
Errores habituales y cómo solucionarlos
- Skill 只写「可以 computer-use」不写运行时:执行器乱接。处理:强制 runtime 字段 + 评测。
- normalized_1000 当像素:点到屏幕角落。处理:契约节 + forbid_pixel_passthrough 样例。
- 高风险动作无确认:误删/误发。处理:确认点表 + 钩子硬拦。
- 与第 8 课并行表脱节:多个子代理同时点同一 UI。处理:写盘/点击默认串行;交叉引用 parallel.md。
- 无隔离环境练手:弄脏生产桌面。处理:练习必须在 VM/测试账号。
Ejercicios
练习闭环说明:下列步骤为课程示意;本篇未附作者本机执行记录(not_run)。请在你自己的 Skill 仓库里跑通后,把命令与结果贴回学习笔记。
- Elige una habilidad y envía
reference/uso-del-ordenador.md(运行时 + 坐标 + 确认点)。 - 加至少 3 条 cua_contract 样例并跑绿。
- 在 SKILL.md description 增加 1 句:何时允许 computer-use、缺 Harness 时禁止。
- 用 NorthCUA 或等价 Harness 在隔离环境跑一条只读桌面任务,把轨迹路径写进练习笔记。
- 与第 8 课 parallel.md 交叉链接一处。
完成标准:同事只看 computer-use.md 与评测,能说出坐标空间与确认点,无需私聊你。
Avance de la próxima lección
下一课预告:把 computer-use 契约与生产 trace 打通——如何从「点偏/坐标混用」日志一键生成契约样例、如何给高风险动作加观察期与额度预算。本课先把离线契约与只读冒烟跑稳;没有坐标红灯,线上只会静默点飞。
Índice de esta serie
- Lección 1: Crea en 30 minutos tu primera «Claude Agent Skill» que se active automáticamente — https://school.myshirtai.com/archives/3378
- Lección 2: Añadir una referencia a Skill / El ciclo de verificación «primero redactar el documento de planificación y luego ejecutar» — https://school.myshirtai.com/archives/3462
- Lección 3: Skills con scripts y auditorías de seguridad — https://school.myshirtai.com/archives/3521
- Lección 4: Descripción de la iteración con casos reales de fallo — https://school.myshirtai.com/archives/3661
- Lección 5: Conectar Skill a un repositorio real de CI / a un directorio compartido del equipo — https://school.myshirtai.com/?p=3948
- Lección 6: Regresión de una habilidad utilizando un conjunto de evaluación — https://school.myshirtai.com/?p=4048
- Lección 7: Programación de múltiples habilidades: desglose y combinación de límites y resolución de conflictos de activación — https://school.myshirtai.com/?p=4191
- Lección 8: Incorporar el patrón Task/subagente en una Skill: límites de paralelismo y aislamiento del contexto — https://school.myshirtai.com/?p=4331
- 第 9 课:把 computer-use 坐标契约与 Harness 边界写进 Skill(本文)
收尾:今天只要在 SKILL.md 里写清运行时、坐标空间、确认点三件事;坐标混用是第一翻车点。写权限任务进沙箱后再开。


评论列表 (0条):
加载更多评论 Cargando...