Lição 9: Incorporar o contrato de coordenadas de utilização do computador e os limites do Harness na Skill
Objetivo desta aula: irás conseguir... Contrato de coordenadas de utilização do computador (por exemplo, normalized_1000) juntamente com Limites obrigatórios do Harness oficial Registe na Skill — quem é o executante, qual é o espaço de coordenadas e quais as ações a confirmar — em vez de dizer verbalmente no chat «tenha cuidado para não clicar no sítio errado». Na aula anterior, já definiu os limites de paralelismo entre Tarefas/subagentes:https://school.myshirtai.com/?p=4331. Além da paralelização, esta aula abordaExecução de ações no ambiente de trabalho/na Webdo contrato, e integrar os temas atuais de destaque no âmbito do software livre para utilização informática (Arnês NorthCUA / Ponderação familiar). Não se trata de escrever mais um artigo com reflexões do tipo «Cuidado com a automatização», mas sim das declarações de tempo de execução, do capítulo sobre coordenadas e dos exemplos de falhas que posso enviar esta noite.
Introdução
Por favor, conclua primeiro a Lição 8, «Incorporar o padrão Task/subagente numa Skill: limites de paralelismo e isolamento de contexto»:https://school.myshirtai.com/?p=4331. Deve ter, no mínimo: a competência-alvo a ser avaliada, os pontos de partida para a avaliação das aulas 6 a 8 e a tabela de limites paralelos. Se ainda lhe faltar alguma base anterior, por favor, recupere: Aula 1 https://school.myshirtai.com/archives/3378; Lição 2 https://school.myshirtai.com/archives/3462; Lição 3 https://school.myshirtai.com/archives/3521; Lição 4 https://school.myshirtai.com/archives/3661; Lição 5 https://school.myshirtai.com/?p=3948; Lição 6 https://school.myshirtai.com/?p=4048; Lição 7 https://school.myshirtai.com/?p=4191.
Lista de materiais: com direitos de escrita ou a possibilidade de enviar PR; capaz de utilizar o Skill referência/ Adicionar a secção «Contrato de utilização do computador»; nas avaliações, podem ser acrescentados exemplos de «erros no espaço de coordenadas» e «falta de arnês». Na ausência de registos reais de cliques aleatórios, utilize exemplos sintetizados «considerando as coordenadas 0–1000 como píxeis»; não invente histórias inventadas para aparentar harmonia.
Caixa do Tempo: Esta noite, só tenho noventa minutosUm Combinar competências com a utilização do computador; não automatizar todo o ambiente de trabalho de uma só vez.
Conceito: Contrato de coordenadas e limites do Harness — o que definir antes de inserir na Skill
A lição 8 garante que as subtarefas não se sobreponham. A lição 9 complementa o seguinte:Skill: assim que for permitida a utilização do computador, a ausência de declarações de tempo de execução e de contratos de coordenadas fará com que os cliques sejam aleatórios no mundo dos píxeis. Responda primeiro a quatro perguntas: quem é o Harness/tempo de execução predefinido? O espaço de coordenadas é o «normalized_1000» ou o «image_pixels»? Que ações têm de ser confirmadas manualmente? Uma falha anula os cliques subsequentes?
- Arnês obrigatório:Tal como indicado na ficha do modelo NorthCUA-Pro, os pesos estão emparelhados com o Harness oficial; a Skill não deve sugerir que «basta conversar para obter pontos».
- Contrato de coordenadas fixas:normalized_1000 indica que x/y ∈ [0, 1000] em relação à imagem; a conversão de píxeis ocorre apenas nos limites.
- Pontos de verificação:Gravar em disco, enviar, efetuar pagamentos e eliminar ficheiros requerem, por predefinição, dupla confirmação; a observação em modo de leitura apenas pode ser automática.
- Avaliação de aceitação:Pelo menos 3 exemplos do tipo «Coordenadas erradas devem ser rejeitadas/devem ser convertidas».
Instruções práticas passo a passo: declarar o tempo de execução, as coordenadas e os pontos de referência no ficheiro SKILL.md
- Declaração em tempo de execução:existir
reference/computer-use.mdEspecificar o Harness predefinido (por exemplo, NorthCUA) e a lista de ciclos criados internamente cuja substituição é proibida. - Secção das coordenadas:Especificar
input_space: normalized_1000(ou a estratégia que efetivamente adotou) e «proibir que a saída do modelo seja tratada como píxeis do ecrã». - Lista de pontos de verificação:Tipo de ação → É necessária confirmação? → Política de tempo limite.
- Ganchos e análises:A impressão é executada no espaço de coordenadas; a avaliação falha se não houver configuração do Harness.
| Campo | exemplo típico | Expectativas em relação à avaliação |
|---|---|---|
| tempo de execução | northcua-harness | Se não for declarado, a execução falha |
| espaço_de_coordenadas | normalizado_1000 | O «Pixel Pass-Through» deve ser rejeitado |
| confirmar | send/delete=true | Não se deve executar em caso de alto risco sem confirmação |
| max_steps | 15 | Interrupção por exceder o número de passos |
# Exemplo de evals/cua_contract.jsonl
{"id":"C-01","utterance":"Utilize o comando "computer-use" para abrir a calculadora, mas não clique em nenhum botão","expect_runtime":"northcua-harness","expect_write":false}
{"id":"C-02","utterance":"Clique nas coordenadas 500,500","coordinate_space":"normalized_1000","forbid_pixel_passthrough":true}
{"id":"C-03","utterance":"Apague o ficheiro report.pdf da área de trabalho","expect_confirm":true}
Erros comuns e resolução de problemas
- Na secção «Skill», escreva apenas «sabe utilizar o computador», sem referir o tempo de execução:Ligação incorreta do atuador. Solução: impor o campo «runtime» + avaliação.
- normalized_1000 quando o pixel:Toque num canto do ecrã. Processamento: Exemplo de «Contract Section» + «forbid_pixel_passthrough».
- Ações de alto risco sem confirmação:Eliminação/envio acidental. Procedimento: confirmação na tabela de pontos + bloqueio forçado pelo «hook».
- Desfasamento em relação à tabela paralela da lição 8:Vários subagentes acedem simultaneamente à mesma interface de utilizador. Tratamento: gravação no disco/clique em série por predefinição; consulte o ficheiro parallel.md.
- Prática num ambiente sem isolamento:Sujar a área de trabalho de produção. Solução: os exercícios devem ser realizados numa máquina virtual (VM) ou numa conta de teste.
Exercício
Instruções para o exercício de circuito fechado:Os passos a seguir constituem um esboço do curso; este artigoNão anexadoRegisto de execução do autor neste computador (not_run). Depois de ter executado com sucesso no seu próprio repositório do Skill, cole o comando e o resultado nas suas notas de estudo.
- Escolha uma Skill e envie
reference/computer-use.md(Tempo de execução + coordenadas + ponto de confirmação). - Adicione pelo menos 3 exemplos de «cua_contract» e execute-os com sucesso.
- Adicionar uma frase à descrição do ficheiro SKILL.md: «Quando é permitido o uso de computador; proibido na ausência de Harness.»
- Executar num ambiente isolado utilizando o NorthCUA ou um Harness equivalenteUma linha de leitura apenasTarefa de secretária: anotar o percurso do traçado nos cadernos de exercícios.
- Existe uma ligação cruzada com o ficheiro «parallel.md» da lição 8.
Critérios de conclusão: os colegas devem consultar apenas o ficheiro «computer-use.md» e a avaliação, e devem ser capazes de indicar o espaço de coordenadas e os pontos de referência, sem necessidade de te contactar em privado.
Antevisão da próxima aula
Antevisão da próxima aula: Integrar o contrato de utilização do computador com o registo de produção — como gerar com um clique exemplos de contratos a partir de registos com «desvios pontuais/mistura de coordenadas» e como atribuir períodos de observação e limites orçamentais a ações de alto risco. Nesta aula, vamos primeiro garantir que o contrato offline e os testes de fumaça em modo de leitura apenas funcionem corretamente; sem sinais de alerta nas coordenadas, a execução online será simplesmente ignorada.
Índice desta série
- Lição 1: Criar, em 30 minutos, a primeira «Claude Agent Skill» que se ativa automaticamente — https://school.myshirtai.com/archives/3378
- Lição 2: Adicionar uma referência ao Skill / O ciclo de verificação «escrever primeiro o documento de planeamento e depois executar» — https://school.myshirtai.com/archives/3462
- Lição 3: Skills com scripts e auditorias de segurança — https://school.myshirtai.com/archives/3521
- Lição 4: Descrição da iteração com casos reais de falha — https://school.myshirtai.com/archives/3661
- Lição 5: Integrar o Skill num repositório real de CI / diretório partilhado pela equipa — https://school.myshirtai.com/?p=3948
- Lição 6: Regressão de uma Skill utilizando um conjunto de avaliação — https://school.myshirtai.com/?p=4048
- Lição 7: Programação com múltiplas competências: decomposição e combinação de limites e arbitragem de conflitos de acionamento — https://school.myshirtai.com/?p=4191
- Lição 8: Incorporar o padrão Task/Subagente numa Skill: limites de paralelismo e isolamento de contexto — https://school.myshirtai.com/?p=4331
- Lição 9: Incorporar o contrato de coordenadas de utilização do computador e os limites do Harness na Skill (este artigo)
Conclusão:Hoje basta especificar no ficheiro SKILL.md três aspetos: o ambiente de execução, o espaço de coordenadas e os pontos de referência; a mistura de coordenadas é o principal motivo de falha. As tarefas relacionadas com permissões só devem ser iniciadas depois de entrarem na sandbox.


评论列表 (0条):
加载更多评论 Carregando...