Leçon n° 9 : Intégrer le contrat de coordonnées « computer-use » et les limites « Harness » dans « Skill »
Objectif de cette leçon : vous saurez Convention de coordonnées « computer-use » (par exemple, normalized_1000) avec Limites obligatoires pour le Harness officiel Indiquez-le dans Skill — qui est l'acteur au moment de l'exécution, quel est l'espace de coordonnées, quelles actions doivent être validées — plutôt que de le dire verbalement dans la conversation en disant « Attention à ne pas cliquer au mauvais endroit ». Dans la leçon précédente, vous avez déjà défini les limites du parallélisme entre les tâches et les sous-agents :https://school.myshirtai.com/?p=4331. En plus du parallélisme, ce cours abordeExécution d'actions sur le bureau/sur le Weble contrat, tout en intégrant les tendances actuelles en matière d'utilisation des ordinateurs dans le domaine de l'open source (Faisceau NorthCUA / Pondération familiale). Il ne s'agit pas d'écrire un nouvel article sur les « risques de l'automatisation », mais plutôt de présenter ce soir les déclarations d'exécution, les sections de coordonnées et les exemples d'échecs.
Introduction
Veuillez d'abord terminer la leçon n° 8 intitulée « Intégrer le modèle Task/sous-agent dans une Skill : limites de parallélisme et isolation du contexte » :https://school.myshirtai.com/?p=4331. Vous devez disposer au minimum des éléments suivants : la compétence cible à acquérir, les points de repère pour les évaluations des leçons 6 à 8, ainsi que le tableau des limites parallèles. Si vous n'avez pas encore acquis les bases précédentes, veuillez revenir sur la leçon 1. https://school.myshirtai.com/archives/3378; Leçon n° 2 https://school.myshirtai.com/archives/3462; Leçon n° 3 https://school.myshirtai.com/archives/3521; Leçon n° 4 https://school.myshirtai.com/archives/3661; Leçon n° 5 https://school.myshirtai.com/?p=3948; Leçon n° 6 https://school.myshirtai.com/?p=4048; Leçon n° 7 https://school.myshirtai.com/?p=4191.
Liste des prérequis : disposer de droits d'écriture ou pouvoir soumettre des PR ; être capable d'utiliser Skill référence/ Ajouter une section intitulée « Contrat d'utilisation de l'ordinateur » ; les tests peuvent inclure des exemples supplémentaires tels que « erreur d'espace de coordonnées » et « absence de harnais ». En l'absence de journaux réels de clics aléatoires, créer des exemples en considérant les coordonnées 0–1000 comme des pixels ; ne pas inventer de scénarios de complaisance.
La boîte à temps : ce soir, vous n'avez que 90 minutesUn Compétences et utilisation de l'ordinateur : ne pas automatiser l'ensemble du bureau du jour au lendemain.
Concept : contrat de coordonnées et limites du « Harness » : que faut-il définir avant d'enregistrer une compétence ?
La leçon n° 8 garantit que les sous-tâches ne se chevauchent pas. La leçon n° 9 complète ce point :Skill : dès que l'utilisation de l'ordinateur est autorisée, l'absence de déclaration d'exécution et de contrat de coordonnées entraîne des clics aléatoires dans l'univers des pixels.. Commençons par répondre à quatre questions : quel est le Harness/runtime par défaut ? L'espace de coordonnées est-il « normalized_1000 » ou « image_pixels » ? Quelles actions doivent faire l'objet d'une confirmation manuelle ? Un échec annule-t-il les clics suivants ?
- Harnais obligatoire :Comme indiqué dans la fiche technique du modèle NorthCUA-Pro, les poids sont appariés avec le « Harness » officiel ; la compétence ne doit pas laisser entendre qu’il suffit de « discuter » pour obtenir des résultats.
- Contrat de coordonnées figé :« normalized_1000 » indique que x/y ∈ [0, 1000] par rapport à la capture d'écran ; la conversion en pixels n'est effectuée qu'aux limites.
- Points de contrôle :L'écriture sur disque, l'envoi, le paiement et la suppression de fichiers nécessitent par défaut une double confirmation ; la lecture seule peut se faire automatiquement.
- Réception et évaluation :Au moins 3 exemples illustrant le principe « les coordonnées erronées doivent être rejetées / doivent être converties ».
Guide pratique étape par étape : définir le runtime, les coordonnées et les points de contrôle dans le fichier SKILL.md
- Au moment de l'exécution de la déclaration :existent
reference/utilisation-de-l'ordinateur.mdIndiquez le « Harness » par défaut (par exemple, NorthCUA) ainsi que la liste des boucles personnalisées dont le remplacement est interdit. - Section « Coordonnées » :Préciser
input_space : normalized_1000(ou la stratégie que vous adoptez concrètement) et « l'interdiction de considérer les sorties du modèle comme des pixels à l'écran ». - Tableau des points de contrôle :Type d'action → Confirmation requise → Politique de délai d'expiration.
- Points forts et avis :L'impression s'effectue dans l'espace de coordonnées défini ; le test échoue si la configuration du « Harness » fait défaut.
| Champ | exemple typique | Attentes concernant l'évaluation |
|---|---|---|
| durée d'exécution | northcua-harness | Si cela n'est pas spécifié, l'opération échoue. |
| espace_coordonnées | normalized_1000 | Le « pixel pass-through » doit être refusé |
| confirmer | send/delete=true | En cas de risque élevé, aucune exécution ne doit avoir lieu sans confirmation |
| max_steps | 15 | Interruption en cas de dépassement du nombre de pas |
# Exemple de fichier evals/cua_contract.jsonl
{"id":"C-01","utterance":"Ouvre la calculatrice avec "computer-use" sans appuyer sur aucun bouton","expect_runtime":"northcua-harness","expect_write":false}
{"id":"C-02","utterance":"Cliquez aux coordonnées 500,500","coordinate_space":"normalized_1000","forbid_pixel_passthrough":true}
{"id":"C-03","utterance":"Supprime le fichier report.pdf du bureau","expect_confirm":true}
Problèmes courants et dépannage
- Pour la compétence, indiquer uniquement « sait utiliser un ordinateur » sans préciser le temps d'exécution :Mauvais raccordement des actionneurs. Solution : imposer le champ « runtime » + évaluation.
- normalized_1000 en pixels :Appuyez sur le coin de l'écran. Traitement : exemple « Contract Section » + « forbid_pixel_passthrough ».
- Actions à haut risque non confirmées :Suppression/envoi par erreur. Mesures prises : vérification de la liste des points + blocage forcé par le « hook ».
- Décalage par rapport au tableau parallèle de la leçon 8 :Plusieurs sous-agents accèdent simultanément à la même interface utilisateur. Traitement : écriture sur disque / clics en mode série par défaut ; voir également le fichier parallel.md.
- S'entraîner dans un environnement sans isolation :Cela salit l'espace de travail. Solution : l'exercice doit être effectué sur une machine virtuelle ou un compte de test.
Exercices
Explications sur l'exercice « boucle fermée » :Les étapes suivantes constituent un aperçu du cours ; cet articleNon jointJournal d'exécution de l'auteur sur sa propre machine (not_run). Une fois que vous aurez réussi à faire fonctionner le code dans votre propre dépôt Skill, veuillez copier la commande et le résultat dans vos notes d'apprentissage.
- Choisissez une compétence, puis validez
reference/utilisation-de-l'ordinateur.md(temps d'exécution + coordonnées + point de confirmation). - Ajoutez au moins 3 exemples de cua_contract et assurez-vous qu'ils s'exécutent correctement.
- Ajouter une phrase dans la description du fichier SKILL.md : « Quand l'utilisation d'un ordinateur est-elle autorisée ? Elle est interdite en l'absence de harnais. »
- Exécuter dans un environnement isolé à l'aide de NorthCUA ou d'un harnais équivalentUne ligne en lecture seuleTâche à faire sur l'ordinateur : noter le tracé dans le cahier d'exercices.
- Un lien croisé vers le fichier « parallel.md » de la leçon 8.
Critères de réussite : les collègues consultent uniquement le fichier computer-use.md et les évaluations, et sont capables de citer l'espace de coordonnées et les points de repère, sans avoir besoin de vous contacter en privé.
Aperçu de la prochaine leçon
Aperçu de la prochaine leçon : relier le contrat d’utilisation informatique à la traçabilité de la production — comment générer en un clic un modèle de contrat à partir de journaux présentant des « écarts de points / confusion des coordonnées », et comment associer une période d’observation et un budget à des actions à haut risque. Dans cette leçon, nous allons d’abord stabiliser les contrats hors ligne et les tests de validation en lecture seule ; en l’absence de signal d’alerte au niveau des coordonnées, les opérations en ligne seront simplement ignorées en silence.
Sommaire de cette série
- Leçon n° 1 : Créer en 30 minutes votre première compétence Claude Agent à déclenchement automatique — https://school.myshirtai.com/archives/3378
- Leçon n° 2 : Ajouter une référence à Skill / Boucle de vérification « rédiger le document de planification avant l'exécution » — https://school.myshirtai.com/archives/3462
- Leçon n° 3 : Skills avec script et audit de sécurité — https://school.myshirtai.com/archives/3521
- Leçon n° 4 : itération à partir de cas réels d'échec description — https://school.myshirtai.com/archives/3661
- Leçon n° 5 : Intégrer Skill au dépôt CI réel / au répertoire partagé de l'équipe — https://school.myshirtai.com/?p=3948
- Leçon n° 6 : Réalisation d'une régression pour une compétence à l'aide d'un ensemble d'évaluation — https://school.myshirtai.com/?p=4048
- Leçon n° 7 : Programmation multi-Skill : décomposition et fusion des limites, et arbitrage des conflits de déclenchement — https://school.myshirtai.com/?p=4191
- Leçon n° 8 : Intégrer le modèle « Task/sous-agent » dans une Skill : limites du parallélisme et isolation du contexte — https://school.myshirtai.com/?p=4331
- Leçon n° 9 : Intégrer le contrat de coordonnées « computer-use » et les limites « Harness » dans « Skill » (cet article)
Conclusion :Aujourd’hui, il suffit d’indiquer clairement dans le fichier SKILL.md trois éléments : le runtime, l’espace de coordonnées et les points de validation ; le mélange des coordonnées est la première source d’erreur. Les tâches nécessitant des droits d’écriture ne seront lancées qu’une fois dans le bac à sable.


评论列表 (0条):
加载更多评论 Chargement...