beipo-ai/NorthCUA Harness für die Desktop-/Web-Nutzung als Open Source veröffentlichen: Screenshots sowie Tastatur- und Maus-Eingaben, Langzeitnotizen, wiederherstellbare Stapelverarbeitung, unabhängige Bewertungen; auf der Modellseite anschlussfähig beipo-ai/NorthCUA-Pro(ca. 397B/17B aktiv, Apache-2.0) oder folgen Sie zunächst der offiziellen lokalen Anleitung ohne Schlüssel. Das Fazit vorweg:NorthCUA eignet sich für eine „überprüfbare Open-Source-Laufzeitumgebung für die Computernutzung“; Gewichtung und Harness müssen paarweise verwendet werden, die GUI-Koordinaten müssen streng nach „normalized_1000“ erfolgen – Pixelkoordinaten dürfen nicht zwangsweise eingefügt werden.. Der folgende Text ist entsprechend der öffentlichen README-Datei bzw. den Modellbeschreibungen wie folgt gegliedert:Dokument – PrüfversionEinführung; die Befehle entsprechen dem README-Dokument vom Tag Ihres Zugriffs. Dieser ArtikelNicht beigefügtProtokoll der erfolgreichen Ausführung auf diesem Rechner.
Positionierung: Was löst das Open-Source-Computer-Use-Harness und was nicht?
Harness versteht sich nicht als „ein weiteres Modell, das mit der Maus klicken kann“, sondern als eine Lösung, die Beobachtungen, Aktionen, Arbeitsnotizen und Ergebnisüberprüfungen zu einer wiederholbaren Abfolge verknüpft. Das Modell ist für das logische Schlussfolgern und den Aufruf von Werkzeugen zuständig; Harness übernimmt die Ausführung und die Pixelumsetzung.
Geeignet für:Die Desktop- oder Web-Anwendung soll in einer lokalen/kontrollierten Umgebung ausgeführt werden; ein vollständiger Trace ist erforderlich; die Bereitschaft besteht, die offiziellen YAML-Konfigurationsrichtlinien einzuhalten.
Nicht geeignet:Man möchte im Chat nur mündlich sagen „Klick mal für mich“, ohne dass ein Laufzeitprogramm vorhanden ist; die Pro-Gewichtung wird in eine irrelevante Agent-Schleife eingefügt, wobei Pixelkoordinaten vermischt werden; auf dem Produktionsserver werden ohne Isolierung direkt Schreibrechte vergeben.
Projektkarte
| 项 | Inhalt |
|---|---|
| Harness-Repository | https://github.com/beipo-ai/NorthCUA |
| Gewichtung (Beispiel) | NorthCUA-Pro; außerdem gibt es Karten der Serien Nano, Mini usw. |
| Lizenz | Apache-2.0 (es gilt die am Tag der Veröffentlichung im Repository/Modellkarte angegebene Version) |
| Koordinatenvertrag | normalisiert_1000: x/y ∈ [0,1000], Harness-Pixelumrechnung |
| geeignet für | Open-Source-Computernutzung, wiederholbare Stapelverarbeitung, modellunabhängiger Zugriff |
| Nicht geeignet | Fehlerhafte Produktion ohne Isolierung; eigenentwickelter Kreislauf, aber Verlust der offiziellen Tool-Protokolle |
Entwurf eines Anwendungsfalls: „normalized_1000“ + offizielle Harness-Desktop-Aufgabe (nur Lesezugriff)
Anwendungsbeispiele:In der App-YAML-Konfiguration desktop.coordinate_policy.input_space: normalized_1000, einen Lauf mit dem offiziellen Harness durchführenNur LesenDesktop-Aufgaben (z. B. den Taschenrechner öffnen und nur die Benutzeroberfläche beobachten oder Abfragen mit geringem Risiko aus den offiziellen Beispielen). Abnahme: In der Ablaufverfolgung sind folgende Schritte zu sehen: Screenshot-Beobachtung → Aufruf des Tools → neue Beobachtung; die Koordinatenfelder müssen Werte zwischen 0 und 1000 enthalten, nicht Bildschirmpixel.
Auf der Modellkarte steht ganz klar: „computer-use“ muss mit dem offiziellen Harness kombiniert werden; die Pixelumrechnung erfolgt nur an den Ausführungsgrenzen. Die Vermischung von Koordinatensystemen ist der erste Stolperstein.
Kurze Übersicht über Vor- und Nachteile: Wann sollte man weiterhin Closed-Source-Software verwenden? computer-use / Selbst erstellte Schleife
| Zubereitung | Wann sollte man es verwenden? |
|---|---|
| NorthCUA Harness + Familiengewichtung | Die Computernutzung soll offen und überprüfbar sein, und es soll ein Koordinationsvertrag abgeschlossen werden. |
| Closed-Source-API für die Computernutzung | SLA auslagern, Wartungsaufwand reduzieren, Compliance-konforme Domänenauslagerung |
| Selbst erstellter Klickzyklus | Es gibt bereits eine bewährte interne Vereinbarung; dennoch wird empfohlen, die Koordinatenumrechnung einzeln zu prüfen. |
Vorteile:Open-Source-Harness, modellunabhängig, Trennung von Langzeitnotizen und Bewertungen.
Nachteile:Umgebungs- und Berechtigungsanforderungen; Pro ist sehr umfangreich; sobald der Koordinatenvertrag gebrochen wird, gerät alles durcheinander.
Installation und Überprüfung der Mindestbefehle (Dokumentprüfung)
Gemäß der offiziellen README-Datei (als Beispiel, es gilt der Stand des jeweiligen Tages):
git clone https://github.com/beipo-ai/NorthCUA.git cd NorthCUA uv sync --locked --python 3.12 --extra local --extra device uv run --no-sync playwright install chromium uv run --no-sync northcua --help # Beispiel für den Desktop (erfordert Plattformberechtigungen; zunächst nur lesbar/geringes Risiko) # uv run --no-sync northcua local desktop run --app-config ... --query '...' --max-steps 15
In der YAML-Datei explizit angeben normalisiert_1000. Im Web sollte man sich an die CSS/DOM-Referenz halten und diese nicht mit den Koordinatensystemen von Desktop-Anwendungen verwechseln.
Wichtige Konfigurationshinweise und Fehlerbehebung (erste Woche)
- Punktabweichung/Punktfehler:Wahrscheinlich werden die Koordinatenräume verwechselt. Überprüfen Sie, ob die Werte in der YAML-Datei und in den Tool-Parametern weiterhin im Bereich von 0 bis 1000 liegen.
- Das Model chattet zwar alleine, erwartet aber, dass man darauf reagiert:Es fehlt der Kabelbaum. Zurück zum offiziellen Kreislauf.
- Abhängigkeiten/Transformers-Warnung:Befolgen Sie die Hinweise zu Risiken und zum Pinning in der README-Datei und ignorieren Sie diese nicht einfach.
- Die Charge kann nicht wiederhergestellt werden:Die offiziellen Batch-/Recover-Funktionen wurden nicht genutzt. Lesen Sie zunächst die Dokumentation, bevor Sie die Parallelität erhöhen.
In der ersten Woche werden nur folgende Aufgaben beibehalten: ein „Read-Only-Desktop-Smoke-Test“, ein „Web-Smoke-Test“ und die Einzelprüfung des Koordinatenvertrags. Aufgaben mit Schreibrechten werden erst nach der Übertragung in die Sandbox wieder aufgenommen.
Erläuterung zu den Beweismitteln:Die Installationsbefehle und Koordinatenangaben stammen aus dem öffentlichen Repository/der Modellkarte (Datum des Auszugs siehe Meta). Der Autor hat den End-to-End-Desktop-Smoke-Test nicht auf seinem lokalen Rechner durchgeführt; bitte führe die Abnahme selbst in einer isolierten Umgebung durch, bevor du Schreibrechte erteilst. Wenn du den Smoke-Test abgeschlossen hast, empfehlen wir dir, eine Zusammenfassung mit Screenshots des Betriebssystems, der Befehle und der Pfade als offiziellen Testbericht einzutragen.


评论列表 (0条):
加载更多评论 Laden...