A OpenAI divulgou GPT-6.1 Terra: Uma opção mais rápida e económica para tarefas de utilização de computador / tarefas em massa no ambiente de trabalho; o preço padrão da API é de $1 / M de entrada, $0,05 / M de entrada em cache, $5 / M de saída(Conforme as informações divulgadas no site oficial nesse dia). Vamos começar pela conclusão:Nas tarefas em lote do Agent, não se deve «mudar tudo para a opção mais barata assim que a encontrar» — analise primeiro a taxa de conclusão e as tentativas de repetição em caso de falha utilizando o mesmo conjunto de testes e, só depois, calcule o custo unitário da tarefa. Este artigo éEstrutura comparativa: Gama topo de gama vs gama económica para uso informático; comparação tridimensional entre taxa de conclusão / custo unitário por tarefa / tentativas de repetição em caso de falha. É proibido inventar percentagens relativas a incidentes internos da própria empresa; os números devem basear-se apenas em material público verificável. As duas últimas secções incluem 20 avaliações que poderá concluir esta noite e a aceitação da primeira semana.

Não se apresse a fazer a transição total: o que a gama económica resolve e o que não resolve
A atração da gama económica é bem concreta: para um conjunto idêntico de tarefas como «ler faturas», «preencher formulários» e «navegar na interface», o anúncio oficial destaca vantagens evidentes em termos de preço e velocidade em relação à geração anterior do Terra e aos modelos topo de gama da mesma série. Assim que a demonstração foi feita, o gestor perguntou: «Será que podemos fazer a transição total amanhã?». A questão é que...Distribuição de tarefas: Algumas etapas podem ser superadas apenas com orientação visual, enquanto outras exigem raciocínio aprofundado, análise rigorosa dos factos ou codificação complexa — estas últimas podem ainda ser mais adequadas para o nível «flagship» ou para o nível de codificação especializada.
Na apresentação pública, o Terra destaca a dedução visual + a utilização do computador + uma escrita mais clara, apresentando comparações com conjuntos de dados como o Agents’ Last Exam, o OSWorld e o Terminal-Bench. Estes sãoAnálises de fabricantes e narrativas sobre preços, e não a taxa de conclusão das 20 tarefas operacionais que tem no seu armazém. Considerar a pontuação do site oficial como se fosse «amanhã vamos subir 15 pontos» é o mesmo que tomar o exame de outra pessoa como se fosse o seu próprio diploma de conclusão de curso.
Outro tipo de falsa sensação de segurança é a ideia de que «como o preço unitário é mais baixo, o custo total tem de ser necessariamente mais baixo». Se a opção mais barata implicar uma taxa de insucesso elevada, muitas tentativas repetidas e muitas intervenções manuais para corrigir falhas, a unidadeMissão bem-sucedidaO custo pode, pelo contrário, ser ainda mais elevado. No modelo 3D, o «custo unitário da tarefa» deve corresponder ao custo de uma tarefa bem-sucedida, e não ao preço nominal do token.
O que se pode fazer esta noite:Enumere os tipos de tarefas do Agent que realiza com mais frequência e indique se são «principalmente relacionadas com a utilização do computador» ou «principalmente relacionadas com raciocínio prolongado/programação». Por predefinição, estas últimas não serão incluídas na lista de candidatos para a mudança total.
Comparação tridimensional: taxa de conclusão, custo unitário da tarefa, repetição após falha

Colocar os dois caminhos sobre a mesa:
| dimensão (matemática) | Topo de gama / Gama de alto desempenho | Programas económicos para utilização em computador (como o Terra) |
|---|---|---|
| O que se deve ter em conta na taxa de conclusão? | Raciocínios complexos, factos rigorosos e passos difíceis de codificar: será que se conseguem resolver à primeira tentativa? | O posicionamento visual, os formulários e a repetição do fluxo do ambiente de trabalho já funcionaram de forma estável? |
| Custo unitário da tarefa | Os tokens são caros, mas podem acabar por sair mais baratos se houver menos falhas | Preço baixo; deve-se utilizar «tarefas bem-sucedidas» para repartir os custos, incluindo as tentativas de repetição |
| Nova tentativa após falha | As falhas ocasionais têm um custo elevado; é necessário estabelecer um limite | Quando as falhas são mais frequentes, as novas tentativas acabam por consumir a margem de lucro |
| A minha ordem predefinida | As tarefas difíceis e o regresso do selo de ouro continuam a servir de referência para o modelo topo de gama | Alta produtividade e estrutura clara: «computer-use» com cabelos grisalhos |
Esta comparação não significa que os modelos topo de gama sejam inúteis, nem que os modelos mais baratos sejam meros brinquedos. Os materiais oficiais situam o Terra na «fronteira da relação custo-inteligência» e no lado da utilização em grande escala de computadores; no que diz respeito à «codificação mais complexa», continuam a destacar os modelos de gama superior. A sua decisão deve serDistribuição por categorias de tarefas, em vez de uma abordagem única a nível do armazém.
O que se pode fazer esta noite:Na tabela acima, assinale em 3D os 5 tipos de tarefas mais importantes do momento — indicando em que coluna já existem provas. Na coluna em que faltam avaliações, escreva o nome da tarefa para amanhã, em vez de «deixar para mais tarde».
Como interpretar os dados públicos: preços, posicionamento e critérios de avaliação

Ao ler os materiais disponíveis, começo por identificar três aspetos e, em seguida, relaciono-os com o meu próprio conjunto de avaliações:
- Preço e ID do modelo:O site oficial indica que o preço da API e
gpt-6.1-terraDisponibilidade: com base na data em que aceder à página; incluir uma captura de ecrã no documento de decisão. - Limites de localização:Em que cenários o anúncio oficial indica um desempenho forte (utilização do computador, visão, fluxos de trabalho em massa) e em que cenários ainda se recomenda um nível superior? As frases de delimitação são mais importantes do que a pontuação.
- Critérios de avaliação:O ’Agents’ Last Exam», o «OSWorld» e o «Terminal-Bench», entre outros, são referências públicas e não constituem um SLA empresarial. Deve definir as suas próprias 20 regras.
Ao ligar o projeto ao Responses / computer_use, siga as instruções do seu SDK e dos exemplos do cookbook; não utilize três conjuntos de clientes em paralelo. Indique o nome do modelo, a declaração da ferramenta e o limite de tentativas num único documento. agent-routing.md.

O que se pode fazer esta noite:Copiar as três linhas de preços do site oficial e as três frases de «aplicável/não aplicável» para agent-routing.md, indicando a data da extração (Asia/Shanghai).
A chegar esta noite: só depois de executar 20 testes do mesmo conjunto de testes é que se fala em mudar

Não espere pela «sessão especial sobre seleção de modelos» da próxima semana. Dedique 90 minutos esta noite a seguir estes três passos; só assim é que amanhã terá condições para falar de uma transição total.
- Conjunto de testes fixo (25 minutos):Selecionar 20 tarefas reais (podem ser anonimizadas), abrangendo clicar em elementos, preencher formulários, introduzir dados a partir de imagens e, pelo menos, 3 «exemplos conhecidos como difíceis». Indicar para cada uma os resultados esperados que devem ser observados; não é permitido responder «parece estar correto».
- Sessão conjunta com dois modelos (40 minutos):Executar uma ronda no segmento de gama alta e outra no segmento económico para utilização em computadores; registar o sucesso/fracasso, o número de tentativas, o token ou a estimativa da fatura. Incluir os comandos no ficheiro README, para execução local com um único clique.
- Cálculo do custo de uma tarefa bem-sucedida (25 minutos):O custo médio só é calculado para as amostras bem-sucedidas; às amostras rejeitadas que entram na fila de intervenção manual devem ser adicionados os minutos de intervenção manual. Quem se sair melhor na combinação «taxa de conclusão dentro dos padrões ∩ custo mais baixo por amostra bem-sucedida» entra na lista de aprovação.
# Exemplo: Comparação dentro do mesmo conjunto (o nome do comando deve corresponder ao do seu repositório) python3 scripts/run_agent_eval.py --suite evals/cua20.jsonl --model flagship --out out/flagship.jsonl python3 scripts/run_agent_eval.py --suite evals/cua20.jsonl --model cheap-cua --out out/cheap.jsonl python3 scripts/compare_cost_success.py --a out/flagship.jsonl --b out/cheap.jsonl
O que se pode fazer esta noite:Primeiro, execute com sucesso as 3 primeiras execuções de teste, confirme se o ID do modelo e o número de tentativas de repetição aparecem nos registos e, em seguida, execute todas as 20.
Avaliação da primeira semana e análise das falhas
- Incorporar a tabela de roteamento no Git: quais conjuntos de tarefas estão, por predefinição, na categoria económica, quais são obrigatoriamente da categoria premium e qual é a proporção de tarefas em pendência;
- Se o limiar de taxa de conclusão não for atingido, é proibido apresentar um PR de «mudança total»;
- Reexecutar semanalmente as mesmas 20 linhas; quaisquer alterações no modelo ou na frase de prompt devem ser acompanhadas de uma comparação entre o antes e o depois;
- Em caso de anomalia na fatura, verifique primeiro se há duplicações na «Tempestade» e, em seguida, verifique o preço unitário.
Investigação de acidentes
- Preço baixo, mas conta elevada:Repetidas tentativas em caso de falha e trajetórias excessivamente longas. Definir um limite máximo para as tentativas; em caso de tempo limite esgotado, passar para intervenção manual.
- Pontuação elevada no site oficial, pontuação baixa nas atividades:A distribuição das tarefas é diferente. Apresentem exemplos que aumentem a dificuldade, em vez de criticarem as avaliações.
- Colapso das tarefas de codificação após o corte total:O «codification bucket» deve ser colocado na diretória principal ou no caminho da classe Codex, e não deve permanecer na pasta «computer-use».
- O script de comparação não é reproduzível:Faltam registos de sementes fixas e de modelos. É preciso completar os registos antes de se tomar qualquer decisão.
Para finalizar, repito a sequência: encontrar o mais barato → 20 itens da mesma coleção → comparação tridimensional → classificar por tom de cinzento → expandir se os critérios forem cumpridos. A Terra baixou os preços dos produtos para uso informático; o que falta é a avaliação que vais começar a fazer esta noite. Pode escrever uma narrativa mais elegante mais tarde; por agora, basta tornar visível na tabela as tentativas e falhas.


评论列表 (0条):
加载更多评论 Carregando...