Lektion 7: Multi-Skill-Choreografie: Auflösen und Zusammenführen von Grenzen sowie Schlichtung von Konflikten
Lernziel dieser Lektion: Wenn du mehr als eine Fähigkeit in deinem Repertoire hast, wirst duEntscheiden, wann getrennt und wann zusammengefügt werden soll, und die Beschreibung als „exklusiv“ zu formulieren; bei zwei Kandidaten gibt es eineSchiedsgerichtstabelle… und nicht nach dem Prinzip „Wer es zuerst in das Verzeichnis einträgt, gewinnt“. In der letzten Lektion hast du bereits mithilfe eines Testdatensatzes eine Regression für einzelne Skills durchgeführt:https://school.myshirtai.com/?p=4048; In dieser Lektion geht es darüber hinaus um die Behandlung von mehreren Skills, die gleichzeitig ausgelöst werden, und um überlappende Grenzen. Es handelt sich nicht um einen weiteren Beitrag mit der Botschaft „Achtet auf die Zusammenarbeit“, sondern um Richtlinien zur Aufteilung und Zusammenführung, Ausschlussregeln, eine Prioritätstabelle und Konfliktbeispiele, die heute Abend eingereicht werden können.
Vorwort
Bitte schließen Sie zunächst Lektion 6 „Regression für Skills anhand eines Testdatensatzes“ ab:https://school.myshirtai.com/?p=4048. Du musst mindestens Folgendes zur Verfügung haben: mindestens zwei, die Skills laden können und lauffähig sind run_skill_eval.py(oder gleichwertig), Beispiele für Fehlauslösungen/Auslösungsausfälle aus den Lektionen 4–6. Falls Ihnen noch grundlegendere Kenntnisse fehlen, holen Sie diese bitte nach: Lektion 1 https://school.myshirtai.com/archives/3378; Lektion 2 https://school.myshirtai.com/archives/3462; Lektion 3 https://school.myshirtai.com/archives/3521; Lektion 4 https://school.myshirtai.com/archives/3661; Lektion 5 https://school.myshirtai.com/?p=3948.
Materialliste: Schreibrechte oder die Möglichkeit, PRs einzureichen; im Testkatalog können Beispiele für „Konfliktpaare“ hinzugefügt werden; das Team einigt sich auf eine Prioritätenliste für die Schlichtung (kann in skills/README.md). Da es keine echten Protokolle mit doppelter Auslösung gibt, verwende zunächst den Satz aus Lektion 6 unter „Fehler“, in dem es heißt: „A wurde aufgerufen, aber B wurde ausgeführt“, und erfinde keine erfundenen, harmonischen Geschichten.
Wenn der Bewertungs-Hook in Lektion 6 weiterhin nur „Ausgelöst oder nicht + Name der Fertigkeit“ zurückgibt, reicht das für diese Lektion aus; wenn der Hook nur einen booleschen Wert zurückgibt, füge bitte zunächst die Auswertung des Fertigkeitsnamens hinzu, da sich sonst die erwarteten Konflikte nicht ausdrücken lassen. Es ist ehrlicher, die „Lücke in der Hook-Funktionalität“ als Blocker vor Beginn von Lektion 7 zu formulieren, als einfach nur ein Beispiel zu schreiben.
Empfehlung von „Time Box“: Bearbeite heute Abend 90 Minuten lang nur ein Paar sich überschneidender Skills – versuche nicht, das gesamte Lager über Nacht abzuarbeiten. Erst wenn ein Paar „grün“ läuft, sind die Richtlinien tragfähig; wenn die gesamte Tabelle leer läuft, bleibt am Ende nur ein Markdown übrig, das niemand bearbeitet.

Konzept: Bei der Choreografie werden zunächst die Grenzen festgelegt, erst dann geht es darum, wer klüger ist
Lektion 6 gewährleistet, dass das Auslösen eines einzelnen Skills reproduzierbar ist. Lektion 7 ergänzt dies wie folgt:Auch wenn beide „spielberechtigt“ sind, kann es dennoch vorkommen, dass sie gleichzeitig auf dem Platz stehen wollen. Beantworten Sie die folgenden vier Fragen: Soll der Skill in zwei Skills aufgeteilt werden? Enthält die Beschreibung widersprüchliche Aussagen? Wer hat bei Konflikten Vorrang? Wird der Nutzer bei Unklarheiten um Klarstellung gebeten?
- Das Zusammenbauen und Auseinanderbauen ist eine Produktentscheidung:Berechtigungen, die Kosten eines Scheiterns und die Überschneidungsrate des Korpus haben Vorrang vor einem „ansprechenden Verzeichnis“.
- Mutual Exclusion – Beschreibung:Unabhängig davon, was auf der Vorderseite steht, sollte in kurzen Sätzen vermerkt werden: „X wird nicht bearbeitet / Bei Y bitte Z verwenden“.
- Arbitrage-Tabelle ins Lager:Versionierung von Prioritäten und Strategien bei Gleichständen; bei Tabellenänderungen muss eine Konfliktprüfung durchgeführt werden.
- Beispiele für Konflikte in der Bewertung zu Lektion 6:Beide Kandidaten-Sätze müssen die erwartete Fähigkeit enthalten; „beides ist in Ordnung“ darf nicht als Goldstandard gelten.
In den offiziellen Unterlagen zu den Agent-Fähigkeiten wird betont, dass die Beschreibung für die Auslösung verantwortlich ist; bei mehreren Fähigkeiten muss auch der Zusammenhang zwischen den Auslösern klar dargelegt werden. Das war’s zum Konzept – im Folgenden geht es direkt um die Aufteilung und die Entscheidung.
Bei der Gestaltung geht es nicht darum, eine weitere „Super-Fähigkeit“ zu definieren, in die alle Fähigkeiten hineingepackt werden. Eine Super-Fähigkeit würde dazu führen, dass die Grenzen zwischen Befugnissen, Bewertungen und Verantwortlichkeiten verschwimmen. Was sich anhand einer Schlichtungstabelle klären lässt, sollte nicht durch eine ausführlichere Beschreibung riskiert werden.
Die Beziehung zu Lektion 6 lässt sich in einem Satz zusammenfassen: Einzel-Skills stellen sicher, dass „ich ausgelöst werde, wenn es angebracht ist“; die Kombination mehrerer Skills stellt sicher, dass „einer von uns ausgelöst wird, wenn es angebracht ist“. Beide Beispielsätze müssen in die CI aufgenommen werden – keiner darf fehlen.
Mögliche Aktivitäten für heute Abend:Eine Liste aller Skills im Repository name Wie im ersten Satz der Beschreibung beschrieben, markiere die Paare, bei denen du eine Überschneidung vermutest; gibt es mehr als zwei Paare, bearbeite zunächst das Paar mit der größten Überschneidung.
Schritt-für-Schritt-Anleitung: Zerlegung und Zusammensetzung, Beschreibung der gegenseitigen Ausschlüsse, Arbitrierungstabelle, Konfliktbeispiele

- Wann wird abgerissen:Unterschiedliche Zugriffsrechte (FAQ im Nur-Lese-Modus vs. bearbeitbare Support-Tickets); unterschiedliche Folgen bei Fehlern (Dokumentation einsehen vs. E-Mail versenden); die Auslösebedingungen überschneiden sich kaum. Nach der Aufteilung sind beide Bereiche voneinander unabhängig.
evals/. - Wann passt es zusammen:Im selben Bereich, mit vielen gemeinsamen
reference/; Nach dem Aufteilen kam es in mehr als etwa 20 % der Stichproben zu gegenseitigen Fehlauslösungen; in den Köpfen der Nutzer ist dies einfach „die Fähigkeit eines Assistenten“. Vor dem Zusammenführen sollten zunächst die Testdatensätze zusammengeführt und anschließend die Verzeichnisse gelöscht werden. - Beschreibung der Exklusivität:Jedes Skill sollte 1–2 Sätze mit negativen Grenzen enthalten. Beispielsweise sollte das FAQ-Skill lauten: „Es werden keine Support-Tickets erstellt oder bearbeitet. Für Support-Tickets bitte das Skill ‚ticket-ops‘ verwenden.“ Das Skill ‚ticket-ops‘ sollte lauten: „Es werden keine Fragen zum Originaltext der Produktrichtlinien beantwortet. Für Richtlinien bitte das Skill ‚shop-faq‘ verwenden.“ Sowohl die positiven Kompetenzsätze als auch die negativen Begrenzungssätze müssen in den Tests erreicht werden können.
- Ausfüllen des Schiedsformulars:Nehmt die obige HTML-Tabelle als Ausgangspunkt, passt die Bezeichnungen der Fähigkeiten an eure Geschäftsanforderungen an und fügt sie dann ein
skills/ARBITRATION.md(Der Dateiname kann frei gewählt werden); Bei der Änderung der Beschreibung im PR muss angegeben werden, ob dies Auswirkungen auf die Priorität hat. - Beispiel für einen Konflikt hinzufügen:Mindestens 5 „Doppelkandidaten“-Äußerungen pro Paar überlappender Skills; es wird eine eindeutige Äußerung erwartet.
expect_skill. Das Skript für Lektion 6 ausführen; erst wenn beide grün sind, darf zusammengefügt werden.
| Konflikttypen | Standard-Schiedsverfahren | Erwartungen an den Testbericht |
|---|---|---|
| Sicher/Schreiben auf die Festplatte vs. Lesezugriff | Klarstellung zur Schreibschutzpriorität; zum Schreiben auf die Festplatte ist eine explizite Angabe oder eine zweite Bestätigung erforderlich | Ohne namentliche Nennung darf die „Auf die Festplatte schreiben“-Fähigkeit nicht ausgelöst werden. |
| Semantische Überschneidung bei den beiden „Read Skill“-Begriffen | Nach der Prioritätsstufe in der Schlichtungstabelle; andernfalls wird der Benutzer zur Auswahl aufgefordert | Die Fähigkeit muss eindeutig sein; doppelte Werte sind nicht zulässig. |
| Der Nutzer hat „skill“ erwähnt | Vorrang bei namentlicher Aufrufung, sofern der Zugang nicht aufgrund fehlender Berechtigung verweigert wird | Satz zur namentlichen Aufrufung: expect_skill=Aufrufender |
| Unentschieden und keine namentliche Nennung | Fragen klären, Nebenwirkungen nicht eigenmächtig behandeln | expect_trigger=false oder expect_skill ist leer und es wird protokolliert |
# Beispiel für evals/conflict_pairs.jsonl
{"id":"C-01","utterance":"Wo steht die Rückgabefrist? Erstellen Sie mir bitte gleich ein Ticket zur Nachverfolgung.","expect_trigger":true,"expect_skill":"shop-faq","notes":"Zuerst die Richtlinien beantworten; Für die Ticket-Erstellung muss "ticket-ops" angegeben werden"}
{"id":"C-02","utterance":"Erstelle mit `ticket-ops` eine Mahnung für Bestellung 123","expect_trigger":true,"expect_skill":"ticket-ops","notes":"Benutzer hat `ticket-ops` namentlich genannt"}
{"id":"C-03","utterance":"Bitte bearbeiten Sie meine Rücksendung","expect_trigger":false,"expect_skill":"","notes":"Unklarheit: Es muss geklärt werden, ob es sich um eine Rückfrage zu den Richtlinien oder um die Erstellung eines Tickets handelt"}
Füge der PR-Vorlage noch eine Frage hinzu: Werden die Schlichtungstabelle und die IDs der Konfliktbeispiele aktualisiert? Wenn das Feld leer bleibt, ist eine Zusammenführung nicht zulässig. Die lokalen Befehle müssen mit den CI-Befehlen übereinstimmen.
Wie schreibt man eine Mutual-Exclusion-Anweisung, die den Anforderungen entspricht: Sie muss vom Testprogramm erkannt werden. Es reicht nicht aus, nur „Bitte wählen Sie sorgfältig aus“ zu schreiben. Es muss ein beobachtbares Verhalten beschrieben werden, zum Beispiel: „Wenn der Nutzer die Erstellung/Änderung eines Tickets anfordert, wird dies von diesem Skill nicht bearbeitet.“ Anschließend sollte mit einer Konfliktanweisung überprüft werden, ob „ticket-ops“ das gewünschte Ergebnis ist.
Bei Entscheidungen über Zusammenlegungen oder Aufteilungen berufe ich die Beteiligten zu einer 15-minütigen Besprechung ein: Der Sicherheitsbeauftragte hat ein Vetorecht gegen die Zusammenlegung von Datenträgern; der Geschäftsleiter hat ein Vetorecht gegen sinnlose Aufteilungen. Das Protokoll wird in drei Zeilen an die PR-Abteilung weitergeleitet, um im Nachhinein Aussagen wie „Ich dachte, ihr wärt mit der Aufteilung einverstanden“ zu vermeiden.
Die Konfliktbeispiele müssen aus echten Benutzersätzen stammen. Leichte Umformulierungen zur Anonymisierung sind zulässig, literarische Erfindungen jedoch nicht. Literarische Sätze dienen dazu, Ihre Vorstellungskraft zu testen, und sind keine Auslöser.
Mögliche Aktivitäten für heute Abend:Wähle das Paar von Skills mit der größten Überschneidung aus, schreibe drei Beispiele für Konflikte und führe den Test so durch, dass mindestens einmal eine rote Ampel aufleuchtet. Bringe das System dann mithilfe von Exklusivitätsregeln oder einer Arbitrierungstabelle auf „grün“ – um sicherzustellen, dass das Zugangskontrollsystem tatsächlich die Konfliktmenge berücksichtigt.
Die Beispieltabelle für die Schlichtung dient als Ausgangspunkt. Passen Sie sie an Ihre Geschäftsbezeichnungen an: Ersetzen Sie „shop-faq“ und „ticket-ops“ durch die tatsächlichen Skill-Bezeichnungen. Sollte der Hinweis „Bei der Dateneingabe muss der Name explizit genannt werden“ in der Tabelle im Widerspruch zum Produktmerkmal „Bestellung mit einem Satz“ stehen, muss der Produktmanager die Änderung der Erwartung unterschreiben – das Modell soll dies nicht selbst erraten.
Fehlermeldungen und Abstürze (mindestens drei)
- Beschreibung: Bitte nur positive Fähigkeiten angeben:Zwei Skills beanspruchen denselben Satz mit Synonymen. Lösung: Erzwingung eines negativen Grenzsatzes; bei Konflikten werden die Synonyme bei der Bewertung berücksichtigt.
- Die Schlichtungsvereinbarung wurde lediglich mündlich im Chat getroffen:Neulinge haben keine Anhaltspunkte, wenn sie den dritten Skill einbinden. Vorgehensweise: In das Lager einbuchen; CI-Prüfung, ob die Datei vorhanden ist.
- Beispiel für einen Konflikt: „A oder B“ als „expect“ schreiben:Die Auswertung ist immer „falsch grün“. Lösung: Die Erwartung muss eindeutig sein; bei einem Unentschieden „expect_trigger=false“ verwenden.
- Skills zusammengeführt, aber vergessen, die evals zusammenzuführen:Die alte ID ist ungültig. Vorgehensweise: Der Pull-Request muss eine Liste der zu migrierenden Tests enthalten.
- Die „Write-Disk“-Fähigkeit wird auch bei einem Unentschieden ausgelöst:Die Sicherheitspriorität wurde nicht in den Hook aufgenommen. Maßnahme: Harte Blockierung auf Hook-Ebene; bei der Bewertung wird ein harter Fehler „Ohne Nennung darf nicht auf die Festplatte geschrieben werden“ hinzugefügt.
Mögliche Aktivitäten für heute Abend:Ich füge absichtlich einen Satz vom Typ „Hilf mir bei der Rücksendung“ ein, um zu prüfen, ob das aktuelle Netzwerk bzw. der „Trockenlauf“ die „Write-Disk“-Funktion auslöst; falls ja, füge ich zunächst eine harte Sperre hinzu und passe dann den Text an.
Es gibt noch eine weitere Art von stillschweigendem Fehler: Zwei schreibgeschützte Skills stimmen gleichzeitig „überein“, woraufhin der Assistent eine gemischte Antwort zusammenstellt. Der Nutzer nimmt an, dass diese aus einer offiziellen Richtlinie stammt, doch tatsächlich stammt die Hälfte davon aus einer veralteten Referenz. Die Standardauswertung hierfür sollte „einzige Quelle“ lauten und nicht „jeweils ein bisschen“. Bei der Bewertung sollte für solche Sätze ein eindeutiger Skill-Name erwartet werden.
Falls eure Laufzeitumgebung die Arbitrierungstabellendatei vorübergehend nicht lesen kann, schreibt zumindest die Prioritäten in die Mutual-Exclusion-Anweisungen der jeweiligen Skill-Beschreibungen und hardcodiert in den Hooks eine Blacklist für die Schreibklassen. Die datenbasierte Arbitrierung ist das Ziel; die harte Sperre ist die Mindestanforderung. Ohne diese Mindestanforderung sollt ihr den dritten Skill nicht aktivieren.
Übung
- Erstellen Sie eine Liste der Lager-Skills, markieren Sie mindestens ein Paar, bei dem sich die Skills überschneiden, und entscheiden Sie, ob diese getrennt oder zusammengefasst werden sollen (geben Sie 5 Zeilen mit Begründungen an).
- Füge für beide Seiten jeweils eine Exklusionsanweisung hinzu und übermittle den Beschreibungs-Diff.
- In die Schlichtungstabelle eintragen + mindestens 5 Einträge
KonfliktpaareBeispiel: bis zuSKILL_EVAL_OK. - Aus den tatsächlichen Protokollen wurden 1 Eintrag zu „Namentliche Nennung von Nutzern“ und 1 Eintrag zu „Unentschieden sollte geklärt werden“ hinzugefügt.
Kriterien für den Abschluss: Nur für Kollegen sichtbar skills/README Anhand der Schlichtungstabelle lässt sich feststellen, wer im Konflikt gewinnt, ohne dass ich dich privat anschreiben muss.
Nachdem Sie die Übung abgeschlossen haben, überprüfen Sie noch einmal in Lektion 6, ob die CI (Conflict Set) bereits in denselben Job eingebunden wurde. Wenn Sie das zweite Skript noch manuell ausführen müssen, bedeutet dies, dass die Zugangssteuerung noch nicht vollständig integriert ist. Führen Sie zunächst die Befehle zusammen, bevor Sie Lektion 7 als abgeschlossen erklären.
Vorschau auf die nächste Lektion
Vorschau auf Lektion 8: Verknüpfung der Skill-Arbitrierung mit der Erzeugung von Trace-Daten und Feedback – wie man mit einem Klick aus „Doppelkandidaten“-Protokollen Konfliktbeispiele generiert und wie man Skills, die auf die Festplatte schreiben, eine Beobachtungsphase hinzufügt. In dieser Lektion werden zunächst die Offline-Aufteilung und -Zusammenführung sowie die Arbitration-Tabelle stabilisiert; ohne rote Konfliktwarnung kommt es bei der Online-Planung lediglich zu gegenseitigen Unterbrechungen.
Bis zur 8. Lektion kannst du zunächst manuell einen minimalen geschlossenen Regelkreis erstellen: Kopiere jeden Freitag drei Fälle mit mutmaßlichen Doppelkandidaten aus dem Protokoll, formuliere sie als Konfliktbeispiele und führe am Montag eine Regression durch. Der geschlossene Regelkreis ist zwar unschön, aber effektiv; ersetze das manuelle Kopieren erst, wenn die Automatisierung verfügbar ist – warte nicht untätig herum.
Bitte weisen Sie auch die Kollegen aus dem Sicherheitsbereich darauf hin: Die Kombination mehrerer Skills verändert die Angriffsfläche – Sätze aus dem Phishing-Modell, in denen bestimmte Skills namentlich genannt werden, sollten in die Beispiele für Konflikte und Sicherheitsfälle aufgenommen werden und nicht nur im Chat des Red Teams erscheinen. Die Skilling-Tabelle und die Sicherheitstabelle können sich auf dieselbe ID beziehen.
Inhaltsverzeichnis dieser Reihe
- Lektion 1: Erstellen Sie in 30 Minuten Ihren ersten automatisch ausgelösten Claude Agent Skill — https://school.myshirtai.com/archives/3378
- Lektion 2: Hinzufügen einer Referenz zu „Skill“ / Der Prüfkreis „Zuerst das Planungsdokument erstellen, dann ausführen“ — https://school.myshirtai.com/archives/3462
- Lektion 3: Skriptbasierte Skills und Sicherheitsaudits — https://school.myshirtai.com/archives/3521
- Lektion 4: Iteratives Arbeiten mit realen Fehlerfällen – Beschreibung — https://school.myshirtai.com/archives/3661
- Lektion 5: Skill in ein echtes Repository (CI) bzw. in ein gemeinsames Teamverzeichnis integrieren — https://school.myshirtai.com/?p=3948
- Lektion 6: Regression für „Skill“ anhand eines Testdatensatzes — https://school.myshirtai.com/?p=4048
- Lektion 7: Multi-Skill-Choreografie: Auflösen und Zusammenführen von Grenzen sowie Schlichtung von Konflikten (dieser Artikel)


评论列表 (0条):
加载更多评论 Laden...