Lektion 9: Den „Computer-Use“-Koordinatenvertrag und die „Harness“-Grenzen in „Skill“ eintragen
Lernziel dieser Lektion: Du wirst lernen, wie man Koordinatenkonvention für die Computernutzung (z. B. normalized_1000) zusammen mit Offizielle Harness-Grenzen, die unbedingt eingehalten werden müssen Halte dies in „Skill“ fest – wer zum Zeitpunkt der Ausführung beteiligt ist, wie der Koordinatenraum aussieht und welche Aktionen zu überprüfen sind – anstatt im Chat mündlich zu sagen: „Pass auf, dass du nicht falsch klickst.“ In der letzten Lektion hast du bereits die Grenzen der Parallelität zwischen Task und Unteragent beschrieben:https://school.myshirtai.com/?p=4331. In dieser Lektion geht es neben dem Thema Parallelität auch umAusführung von Desktop-/Web-AktionenVertrag und Einbindung aktueller Open-Source-Trends im Bereich der Computernutzung (NorthCUA-Kabelbaum / Familiengewichtung). Es geht nicht darum, noch einen weiteren Beitrag mit dem Titel „Vorsicht vor der Automatisierung“ zu verfassen, sondern um die Laufzeitdeklarationen, Koordinatenabschnitte und Fehlerbeispiele, die ich heute Abend einreichen kann.
Vorwort
Bitte absolvieren Sie zunächst Lektion 8 „Das Task-/Subagent-Muster in einen Skill integrieren: Parallele Grenzen und Kontextisolierung“:https://school.myshirtai.com/?p=4331. Sie sollten mindestens Folgendes zur Hand haben: die zu ladende Zielkompetenz, die Bewertungshinweise für die Lektionen 6–8 sowie die Tabelle zu parallelen Grenzen. Falls Ihnen noch grundlegendere Inhalte fehlen, holen Sie diese bitte nach: Lektion 1 https://school.myshirtai.com/archives/3378; Lektion 2 https://school.myshirtai.com/archives/3462; Lektion 3 https://school.myshirtai.com/archives/3521; Lektion 4 https://school.myshirtai.com/archives/3661; Lektion 5 https://school.myshirtai.com/?p=3948; Lektion 6 https://school.myshirtai.com/?p=4048; Lektion 7 https://school.myshirtai.com/?p=4191.
Materialliste: Schreibrechte oder die Möglichkeit, PRs einzureichen; die Möglichkeit, in Skill reference/ Fügen Sie einen Abschnitt „Vereinbarung zur Computernutzung“ hinzu; bei der Bewertung können Beispiele wie „Fehler im Koordinatenraum“ und „fehlender Harness“ hinzugefügt werden. Wenn keine echten Protokolle mit zufälligen Klicks vorliegen, erstellen Sie ein Beispiel, indem Sie „Koordinaten von 0–1000 als Pixel“ verwenden, und erfinden Sie keine erfundenen Geschichten.
Zeitbox: Heute Abend stehen nur 90 Minuten zur VerfügungEiner Kombinieren Sie „Skill“ mit „computer-use“ – automatisieren Sie nicht den gesamten Desktop über Nacht.
Konzept: Koordinatenvertrag und Harness-Grenzen – Was muss vor dem Einfügen in den Skill festgelegt werden?
Lektion 8 stellt sicher, dass sich die Teilaufgaben nicht gegenseitig behindern. Lektion 9 ergänzt dies wie folgt:Sobald die Nutzung des Computers erlaubt ist, führt das Fehlen von Laufzeitdeklarationen und Koordinatenvereinbarungen dazu, dass in der Pixelwelt wahllos geklickt wird.. Beantworten Sie zunächst vier Fragen: Wer ist der Standard-Harness/die Standard-Laufzeitumgebung? Handelt es sich beim Koordinatensystem um „normalized_1000“ oder „image_pixels“? Welche Aktionen müssen manuell bestätigt werden? Führt ein Fehlschlag dazu, dass nachfolgende Klicks abgebrochen werden?
- Harness – unbedingt erforderlich:Wie auf der Modellkarte „NorthCUA-Pro“ beschrieben, sind die Gewichte dem offiziellen Harness zugeordnet; die Fähigkeit darf nicht den Eindruck erwecken, dass „allein durch Chatten Punkte erzielt werden können“.
- Feste Koordinaten im Vertrag:„normalized_1000“ bedeutet, dass x/y ∈ [0, 1000] relativ zum Screenshot ist; die Pixelumrechnung erfolgt nur an den Rändern.
- Bestätigungspunkte:Das Schreiben auf Datenträger, das Senden, das Bezahlen und das Löschen von Dateien erfordern standardmäßig eine doppelte Bestätigung; der schreibgeschützte Beobachtungsmodus kann automatisch erfolgen.
- Abnahme und Bewertung:Mindestens 3 Beispiele für „Falsche Koordinaten sollten abgelehnt/umgerechnet werden“.
Schritt-für-Schritt-Anleitung: Deklarieren Sie in der Datei „SKILL.md“ die Laufzeit, die Koordinaten und die Kontrollpunkte
- Laufzeit der Anweisung:existieren
reference/computer-use.mdGeben Sie den Standard-Harness (z. B. NorthCUA) sowie eine Liste der selbst erstellten Schleifen an, deren Ersetzung untersagt ist. - Koordinatenabschnitt:Angeben
input_space: normalized_1000(oder die Strategie, die Sie tatsächlich anwenden) und „Verbot, Modellausgaben als Bildschirmpixel darzustellen“. - Liste der Kontrollpunkte:Aktionsart → Bestätigungserfordernis → Zeitüberschreitungsrichtlinie.
- Haken und Bewertungen:Der Druckvorgang wird im Koordinatensystem ausgeführt; die Überprüfung schlägt fehl, wenn die Harness-Konfiguration fehlt.
| Feld | typisches Beispiel | Erwartungen an den Testbericht |
|---|---|---|
| Laufzeit | northcua-Kabelbaum | Wird nichts angegeben, schlägt der Lauf fehl. |
| Koordinatenraum | normalisiert_1000 | „Pixel-Through“ sollte abgelehnt werden |
| bestätigen | send/delete=true | Bei hohem Risiko darf die Ausführung erst nach Bestätigung erfolgen. |
| max_steps | 15 | Abbruch bei Überschreitung der Schrittzahl |
# Beispiel für evals/cua_contract.jsonl
{"id":"C-01","utterance":"Öffne den Taschenrechner mit `computer-use`, aber drücke keine Taste","expect_runtime":"northcua-harness","expect_write":false}
{"id":"C-02","utterance":"Klicke auf die Koordinate 500,500","coordinate_space":"normalized_1000","forbid_pixel_passthrough":true}
{"id":"C-03","utterance":"Lösche die Datei "report.pdf" vom Desktop","expect_confirm":true}
Häufige Fehler und deren Behebung
- Bei der Fähigkeit wird nur „kann den Computer bedienen“ angegeben, nicht die Laufzeit:Fehlerhafte Verkabelung des Aktuators. Maßnahme: Erzwingung des „runtime“-Feldes + Bewertung.
- normalized_1000 当像素:点到屏幕角落。处理:契约节 + forbid_pixel_passthrough 样例。
- 高风险动作无确认:误删/误发。处理:确认点表 + 钩子硬拦。
- 与第 8 课并行表脱节:多个子代理同时点同一 UI。处理:写盘/点击默认串行;交叉引用 parallel.md。
- 无隔离环境练手:弄脏生产桌面。处理:练习必须在 VM/测试账号。
Übung
练习闭环说明:下列步骤为课程示意;本篇Nicht beigefügt作者本机执行记录(not_run)。请在你自己的 Skill 仓库里跑通后,把命令与结果贴回学习笔记。
- Wähle eine Fähigkeit aus und sende sie ab
reference/computer-use.md(运行时 + 坐标 + 确认点)。 - 加至少 3 条 cua_contract 样例并跑绿。
- 在 SKILL.md description 增加 1 句:何时允许 computer-use、缺 Harness 时禁止。
- 用 NorthCUA 或等价 Harness 在隔离环境跑一条只读桌面任务,把轨迹路径写进练习笔记。
- 与第 8 课 parallel.md 交叉链接一处。
完成标准:同事只看 computer-use.md 与评测,能说出坐标空间与确认点,无需私聊你。
Vorschau auf die nächste Lektion
下一课预告:把 computer-use 契约与生产 trace 打通——如何从「点偏/坐标混用」日志一键生成契约样例、如何给高风险动作加观察期与额度预算。本课先把离线契约与只读冒烟跑稳;没有坐标红灯,线上只会静默点飞。
Inhaltsverzeichnis dieser Reihe
- Lektion 1: Erstellen Sie in 30 Minuten Ihren ersten automatisch ausgelösten Claude Agent Skill — https://school.myshirtai.com/archives/3378
- Lektion 2: Hinzufügen einer Referenz zu „Skill“ / Der Prüfkreis „Zuerst das Planungsdokument erstellen, dann ausführen“ — https://school.myshirtai.com/archives/3462
- Lektion 3: Skriptbasierte Skills und Sicherheitsaudits — https://school.myshirtai.com/archives/3521
- Lektion 4: Iteratives Arbeiten mit realen Fehlerfällen – Beschreibung — https://school.myshirtai.com/archives/3661
- Lektion 5: Skill in ein echtes Repository (CI) bzw. in ein gemeinsames Teamverzeichnis integrieren — https://school.myshirtai.com/?p=3948
- Lektion 6: Regression für „Skill“ anhand eines Testdatensatzes — https://school.myshirtai.com/?p=4048
- Lektion 7: Multi-Skill-Choreografie: Aufbrechen und Zusammenfügen von Grenzen sowie Schlichtung von Konflikten — https://school.myshirtai.com/?p=4191
- Lektion 8: Implementierung des Task-/Subagent-Musters in einem Skill: Parallelitätsgrenzen und Kontextisolierung — https://school.myshirtai.com/?p=4331
- 第 9 课:把 computer-use 坐标契约与 Harness 边界写进 Skill(本文)
收尾:今天只要在 SKILL.md 里写清运行时、坐标空间、确认点三件事;坐标混用是第一翻车点。写权限任务进沙箱后再开。


评论列表 (0条):
加载更多评论 Laden...