Leçon n° 7 : Programmation multi-Skill : décomposition et regroupement des limites, et arbitrage des conflits de déclenchement
Objectif de cette leçon : lorsque votre référentiel contient plusieurs Skills, vous allezDécider quand séparer et quand réunir, et définir la description comme exclusive ; en cas de double candidat, il y en a un seulTableau d'arbitrage, et non pas selon le principe « celui qui l'ajoute en premier dans le répertoire gagne ». Lors de la leçon précédente, vous avez déjà effectué une régression sur une seule compétence à l'aide d'un ensemble de tests :https://school.myshirtai.com/?p=4048; Ce cours va plus loin et aborde les cas où plusieurs compétences se disputent le déclenchement et où leurs limites se chevauchent. Il ne s'agit pas d'écrire un énième article sur « l'importance de la coordination », mais de présenter ce soir des règles de décomposition et de composition, des phrases d'exclusion mutuelle, une table d'arbitrage et des exemples de conflits.
Introduction
Veuillez d'abord terminer la leçon n° 6 intitulée « Régression d'une compétence à l'aide d'un ensemble d'évaluation » :https://school.myshirtai.com/?p=4048. Vous devez disposer au minimum de : au moins deux personnages capables d'équiper des compétences et de courir run_skill_eval.py(ou équivalent), exemples de déclenchements intempestifs/manquants issus des leçons 4 à 6. Si vous n'avez pas encore acquis les bases précédentes, veuillez revenir sur la leçon 1. https://school.myshirtai.com/archives/3378; Leçon n° 2 https://school.myshirtai.com/archives/3462; Leçon n° 3 https://school.myshirtai.com/archives/3521; Leçon n° 4 https://school.myshirtai.com/archives/3661; Leçon n° 5 https://school.myshirtai.com/?p=3948.
Liste des éléments : droits d'écriture ou possibilité de soumettre des PR ; le catalogue d'évaluation peut être complété par des exemples de « paires en conflit » ; l'équipe s'accorde sur un tableau de priorités d'arbitrage (qui peut être placé dans skills/README.md). En l'absence de véritable journal de double déclenchement, utilisez d'abord la phrase « On a appelé A, mais c'est B qui s'est exécuté » tirée de la leçon n° 6 sur les échecs ; n'inventez pas d'histoires pour faire bonne figure.
Si le hook d'évaluation de la leçon 6 ne peut encore renvoyer que « si déclenché + nom de la compétence », cela suffit pour cette leçon ; si le hook ne peut renvoyer qu'une valeur booléenne, veuillez d'abord ajouter l'analyse du nom de la compétence, sinon il sera impossible d'exprimer les attentes en cas de conflit. Il est plus honnête de présenter cette « lacune dans les capacités du hook » comme un obstacle avant le début de la leçon n° 7 plutôt que de se contenter de fournir des exemples concrets.
Conseil de Time Box : ce soir, consacrez 90 minutes à ne traiter qu’une seule paire de compétences qui se chevauchent ; n’essayez pas de régler tous les problèmes de l’entrepôt en une seule nuit. Ce n’est qu’en faisant passer une paire au vert que les principes s’imposeront ; si vous laissez tout le tableau tourner à vide, il ne restera qu’une réduction de prix que personne ne prendra en charge.

Concept : en matière de mise en scène, il faut d'abord définir les limites, puis se demander qui est le plus intelligent
La leçon n° 6 garantit que le déclenchement d'une compétence individuelle est testable. La leçon n° 7 complète cela en précisant que :Même lorsque les deux sont « légitimes », il peut arriver qu'ils veuillent tous les deux jouer en même temps. Répondre aux quatre questions suivantes : faut-il diviser cette Skill en deux ? La description contient-elle des phrases contradictoires ? En cas de conflit, laquelle a la priorité ? En cas d'égalité, faut-il demander à l'utilisateur de clarifier sa réponse ?
- Le démontage et le remontage relèvent de la décision relative au produit :Les autorisations, le coût d'un échec et le degré de chevauchement des corpus priment sur l'aspect esthétique du répertoire.
- Écriture mutuellement exclusive dans la description :Même si l'on explique clairement ce qu'il faut faire, il faut rédiger en phrases courtes : « Ne pas traiter X / En cas de Y, utiliser Z ».
- Entrée des tableaux d'arbitrage dans l'entrepôt :Gestion des versions pour les priorités et les stratégies en cas d'égalité ; les modifications apportées aux tables doivent faire l'objet d'une analyse des conflits.
- Exemples de conflits pour l'évaluation de la leçon 6 :Les deux phrases candidates doivent présenter la compétence attendue ; il n'est pas autorisé d'utiliser « les deux conviennent » comme référence.
La documentation officielle sur les compétences des agents souligne que la description est responsable du déclenchement ; en cas de compétences multiples, les relations entre les déclencheurs doivent également être clairement définies. Le concept s'arrête là ; passons maintenant directement à la décomposition, à la combinaison et à l'arbitrage.
La conception ne consiste pas à créer une nouvelle « super-compétence » dans laquelle on regroupe toutes les capacités. Une « super-compétence » brouillerait les limites entre les autorisations, les évaluations et les responsabilités. Il vaut mieux s'en tenir à un tableau d'arbitrage pour clarifier les choses plutôt que de prendre le risque d'utiliser une description plus longue.
Le lien avec la leçon n° 6 peut se résumer ainsi : les compétences individuelles garantissent que « je doive ou non être déclenché » ; les enchaînements de compétences garantissent « lequel d'entre nous doit être déclenché ». Les deux séries d'exemples doivent être intégrées à l'intégration continue (CI) ; aucune ne peut être omise.
Activités possibles ce soir :Lister toutes les compétences présentes dans le dépôt nom Comme indiqué dans la première phrase de la description, identifiez les paires que vous soupçonnez d'être en chevauchement ; s'il y en a plus de deux, traitez d'abord celle qui présente le plus grand chevauchement.
Guide pratique étape par étape : décomposition et composition, description des conditions d'exclusion mutuelle, table d'arbitrage, exemples de conflits

- Quand démolir :Les limites des autorisations sont différentes (FAQ en lecture seule vs tickets modifiables) ; les conséquences d'un échec sont différentes (consulter la documentation vs envoyer un e-mail) ; les contextes de déclenchement ne se recoupent pratiquement pas. Une fois séparés, chacun fonctionne de manière indépendante.
evals/. - Quand se réunir :Dans le même domaine, partageant une grande partie
référence/; après leur séparation, les déclenchements intempestifs entre eux ont représenté plus de 20 % environ de l'échantillon ; dans l'esprit des utilisateurs, il s'agit d'une « seule et même fonctionnalité d'assistant ». Avant de les fusionner, il faut d'abord regrouper les ensembles de tests, puis supprimer les répertoires. - Écrire une description de la mutual exclusion :Chaque Skill doit comporter 1 à 2 phrases définissant ses limites négatives. Par exemple, la Skill FAQ doit indiquer : « Ne crée ni ne modifie pas de tickets ; pour les tickets, veuillez utiliser ticket-ops » ; la Skill ticket-ops doit indiquer : « Ne répond pas aux questions sur le texte original de la politique du produit ; pour la politique, veuillez utiliser shop-faq ». Les phrases décrivant les capacités positives et les phrases définissant les limites négatives doivent toutes pouvoir être détectées lors des tests d’évaluation.
- Remplir le formulaire d'arbitrage :En partant du tableau HTML ci-dessus, remplacez les noms par ceux de vos compétences professionnelles, puis insérez-le dans
skills/ARBITRAGE.md(Le nom du fichier peut être défini librement) ; lors de la modification de la description d'un PR, il est indispensable de préciser si cela a une incidence sur la priorité. - Ajouter un exemple de conflit :Au moins 5 énoncés « à double candidat » par paire de compétences qui se chevauchent ; on s'attend à ce qu'ils soient uniques.
compétence attendue. Exécuter le script de la leçon 6 ; les deux voyants verts doivent être allumés pour que le système s'active.
| Types de conflits | Arbitrage par défaut | Attentes concernant l'évaluation |
|---|---|---|
| 安全/写盘 vs 只读查询 | 只读优先澄清;写盘需显式点名或二次确认 | 未点名不得触发写盘 Skill |
| 两只读 Skill 语义重叠 | 按仲裁表业务优先级;否则要求用户选 | 期望 skill 唯一,禁止双真 |
| 用户已点名 skill | 点名优先,除非权限门禁拒绝 | 点名句 expect_skill=点名者 |
| 平局且无点名 | 澄清问句,不擅自执行副作用 | expect_trigger=false 或 expect_skill 空且记日志 |
# evals/conflict_pairs.jsonl 示意
{"id":"C-01","utterance":"退货期限写在哪,顺便帮我开一张催办工单","expect_trigger":true,"expect_skill":"shop-faq","notes":"先答政策;开单需点名 ticket-ops"}
{"id":"C-02","utterance":"用 ticket-ops 给订单 123 建催办","expect_trigger":true,"expect_skill":"ticket-ops","notes":"用户点名"}
{"id":"C-03","utterance":"帮我处理一下退货","expect_trigger":false,"expect_skill":"","notes":"平局:应澄清政策查询还是开单"}
把 PR 模板再加一问:是否更新仲裁表与冲突样例 id?空着不允许求合并。本地命令与 CI 命令保持一致。
互斥句怎么写才算合格:能被评测打到。只写「请谨慎选择」不算。要写成可观察行为,例如「若用户要求创建/修改工单,本 Skill 不处理」。然后用冲突句验证 ticket-ops 才是期望。
拆合决策我会拉当事人开十五分钟会:安全负责人一票否决写盘合并;业务负责人一票否决无意义拆分。会议纪要三行进 PR,避免事后「我以为你们同意拆了」。
冲突样例要来自真实用户句,允许轻微改写脱敏,但不要文学创作。文学句测的是你的想象力,不是触发器。
Activités possibles ce soir :选重叠最大的一对 Skill,写 3 条冲突样例并跑到至少 1 条红灯,再靠互斥句或仲裁表修到绿——确认门禁真的吃冲突集。
仲裁表示例表是起点,把它改成你们的业务名:把 shop-faq / ticket-ops 换成真实 skill name。表里「写盘需显式点名」若与产品「一句话下单」冲突,要产品经理签字改预期,而不是让模型猜。
Erreurs et ratés (au moins trois)
- description 只写正向能力:两 Skill 用同义词抢同一句。处理:强制负向边界句;冲突评测覆盖同义词。
- 仲裁表只在聊天里口头约定:新人合入第三个 Skill 时无据可依。处理:表进仓库;CI 检查文件存在。
- 冲突样例 expect 写成「A 或 B」:评测永远假绿。处理:期望必须唯一;平局用 expect_trigger=false。
- 合并 Skill 却忘了合并 evals:旧 id 失效。处理:合并 PR 必须含评测迁移清单。
- 写盘 Skill 在平局时仍触发:安全优先级未进钩子。处理:钩子层硬拦;评测加「未点名不得写盘」硬失败。
Activités possibles ce soir :故意提一条「帮我处理退货」类平局句,看现网/干跑是否会触发写盘 Skill;若会,先加硬拦再改文案。
还有一类静默失败:两个只读 Skill 同时「像对」,助手拼出一段混合答案,用户以为来自权威政策,其实一半来自过期 reference。仲裁表对此的默认应是「单一来源」,而不是「都读一点」。评测里对这类句要期望唯一 skill 名。
若你们的运行时暂时无法读取仲裁表文件,至少把优先级写进各 Skill description 的互斥句,并在钩子里对写盘类做硬编码黑名单。文件化仲裁是目标态;硬拦是底线态。没有底线就不要上第三个 Skill。
Exercices
- 画出仓库 Skill 清单,标记至少一对重叠,并决定拆或合(写 5 行理由)。
- 给该对双方各加互斥句,提交 description diff。
- 写入仲裁表 + 至少 5 条
conflict_pairs样例,跑到SKILL_EVAL_OK. - 从真实日志补 1 条「用户点名」与 1 条「平局应澄清」。
完成标准:同事只看 skills/README 与仲裁表,能说出冲突时谁赢,无需私聊你。
练习做完后,回头看第 6 课 CI:冲突集是否已挂进同一 job。若还要手工跑第二份脚本,说明门禁叙事仍分裂,先合并命令再宣布第 7 课完成。
Aperçu de la prochaine leçon
第 8 课预告:把多 Skill 仲裁与生产 trace/反馈打通——如何从「双候选」日志一键生成冲突样例、如何给写盘类 Skill 加观察期。本课先把离线拆合与仲裁表跑稳;没有冲突红灯,线上编排只会互相抢话。
在第 8 课到来之前,你可以先手工做最小闭环:每周五从日志里抄 3 条疑似双候选,写成 conflict 样例,周一跑回归。闭环丑陋但有效;等自动化来了再替换手工抄写,不要空等。
也请同步提醒安全同事:多 Skill 编排会改变攻击面——诱骗模型点名写盘 Skill 的句子,应进入冲突与安全样例,而不是只出现在红队聊天里。编排表与安全表可以交叉引用同一 id。
Sommaire de cette série
- Leçon n° 1 : Créer en 30 minutes votre première compétence Claude Agent à déclenchement automatique — https://school.myshirtai.com/archives/3378
- Leçon n° 2 : Ajouter une référence à Skill / Boucle de vérification « rédiger le document de planification avant l'exécution » — https://school.myshirtai.com/archives/3462
- Leçon n° 3 : Skills avec script et audit de sécurité — https://school.myshirtai.com/archives/3521
- Leçon n° 4 : itération à partir de cas réels d'échec description — https://school.myshirtai.com/archives/3661
- Leçon n° 5 : Intégrer Skill au dépôt CI réel / au répertoire partagé de l'équipe — https://school.myshirtai.com/?p=3948
- Leçon n° 6 : Réalisation d'une régression pour une compétence à l'aide d'un ensemble d'évaluation — https://school.myshirtai.com/?p=4048
- 第 7 课:多 Skill 编排:拆合边界与触发冲突仲裁(本文)


评论列表 (0条):
加载更多评论 Chargement...