第7課:マルチスキル・シーケンス:結合・分離の境界とトリガー競合の仲裁
本课目标:当你的仓库里不止一个 Skill,你会决定何时拆、何时合,并把 description 写成互斥;出现双候选时有一张仲裁表,而不是靠「谁先写进目录谁赢」。上一课你已经用评测集给单 Skill 做回归:https://school.myshirtai.com/?p=4048;本课在那之上,处理多 Skill 抢触发与边界重叠。不是再写一篇「要注意协作」的感想,而是今晚能提交的拆合准则、互斥句、仲裁表与冲突样例。
はじめに
请先完成第 6 课《用评测集给 Skill 做回归》:https://school.myshirtai.com/?p=4048。你手头至少要有:两个以上可加载 Skill、可跑的 run_skill_eval.py(或等价)、第 4–6 课留下的误触发/漏触发样例。若还缺更早基础,请回补:第 1 课 https://school.myshirtai.com/archives/3378;第2課 https://school.myshirtai.com/archives/3462;第3課 https://school.myshirtai.com/archives/3521;第4課 https://school.myshirtai.com/archives/3661;第5課 https://school.myshirtai.com/?p=3948.
材料清单:写权限或能提 PR;评测目录可追加「冲突对」样例;团队同意一张仲裁优先级表(可放在 skills/README.md)。没有真实双触发日志,就先用第 6 课 failures 里「点名了 A 却跑了 B」的句子,不要空造和谐故事。
若第 6 课的评测钩子还只能返回「是否触发 + skill 名」,本课够用;若钩子只能返回布尔,请先补 skill 名解析,否则冲突期望无法表达。把「钩子能力缺口」写成第 7 课开始前的 blocker,比硬写样例更诚实。
时间盒建议:今晚九十分钟只处理一对重叠 Skill,不要试图一夜仲裁全仓库。一对跑绿,准则才站得住;全表空转,只会留下一份没人跑的 markdown。

概念:编排先解决边界,再谈谁更聪明
第 6 课保证单个 Skill 的触发可回归。第 7 课补的是:两个都「合法」时仍可能同时想上场。编排回答四个问题:要不要拆成两个 Skill?description 有没有互斥句?冲突时谁优先?平局时是否要求用户澄清?
- 拆合是产品决策:权限、失败代价、语料重叠度,比「目录好看」优先。
- 互斥写进 description:正面说做什么,也要短句写「不处理 X / 遇到 Y 请用 Z」。
- 仲裁表进仓库:优先级与平局策略版本化;改表要跑冲突评测。
- 冲突样例进第 6 课评测:双候选句子要有期望 skill;不允许「都行」当金标。
官方 Agent Skills 材料强调 description 负责触发;多 Skill 时,触发器之间的负空间同样要写清楚。概念到此为止,下面直接做拆合与仲裁。
编排不是再写一个「超级 Skill」把所有能力塞进去。超级 Skill 会让权限、评测与责任边界一起糊掉。能用仲裁表说清的事,就不要用更大的 description 冒险。
和第 6 课的关系可以记成一句话:单 Skill 回归保证「该不该触发我」;多 Skill 编排保证「该触发我们之中的哪一个」。两套样例都要进 CI,缺一不可。
今夜できること:列出仓库里所有 Skill 的 name 与 description 第一句,标出你怀疑重叠的两两对;超过两对就先处理重叠最大的一对。
分步实操:拆合、互斥描述、仲裁表、冲突样例

- 何时拆:权限边界不同(只读 FAQ vs 可写工单);失败代价不同(查文档 vs 发邮件);触发语料几乎无交集。拆完后各自有独立
evals/. - 何时合:同一领域、共用大量
reference/;拆开后互相误触发超过约两成抽样;用户心智里就是「一个助手能力」。合之前先合并评测集再删目录。 - 写互斥 description:每个 Skill 增加 1–2 句负向边界。例如 FAQ Skill 写「不创建或修改工单,工单请用 ticket-ops」;ticket-ops 写「不回答产品政策原文,政策请用 shop-faq」。正面能力句与负向边界句都要能在评测里打到。
- 填仲裁表:用上文 HTML 表作起点,改成你们的业务 skill 名后放进
skills/ARBITRATION.md(文件名可自定);PR 改 description 时必须说明是否触动优先级。 - 加冲突样例:每对重叠 Skill 至少 5 条「双候选」utterance,期望唯一
expect_skill。跑第 6 课脚本;双绿才许合。
| 冲突类型 | 默认仲裁 | レビューへの期待 |
|---|---|---|
| 安全/写盘 vs 只读查询 | 只读优先澄清;写盘需显式点名或二次确认 | 未点名不得触发写盘 Skill |
| 两只读 Skill 语义重叠 | 按仲裁表业务优先级;否则要求用户选 | 期望 skill 唯一,禁止双真 |
| 用户已点名 skill | 点名优先,除非权限门禁拒绝 | 点名句 expect_skill=点名者 |
| 平局且无点名 | 澄清问句,不擅自执行副作用 | expect_trigger=false 或 expect_skill 空且记日志 |
# evals/conflict_pairs.jsonl 示意
{"id":"C-01","utterance":"退货期限写在哪,顺便帮我开一张催办工单","expect_trigger":true,"expect_skill":"shop-faq","notes":"先答政策;开单需点名 ticket-ops"}
{"id":"C-02","utterance":"用 ticket-ops 给订单 123 建催办","expect_trigger":true,"expect_skill":"ticket-ops","notes":"用户点名"}
{"id":"C-03","utterance":"帮我处理一下退货","expect_trigger":false,"expect_skill":"","notes":"平局:应澄清政策查询还是开单"}
把 PR 模板再加一问:是否更新仲裁表与冲突样例 id?空着不允许求合并。本地命令与 CI 命令保持一致。
互斥句怎么写才算合格:能被评测打到。只写「请谨慎选择」不算。要写成可观察行为,例如「若用户要求创建/修改工单,本 Skill 不处理」。然后用冲突句验证 ticket-ops 才是期望。
拆合决策我会拉当事人开十五分钟会:安全负责人一票否决写盘合并;业务负责人一票否决无意义拆分。会议纪要三行进 PR,避免事后「我以为你们同意拆了」。
冲突样例要来自真实用户句,允许轻微改写脱敏,但不要文学创作。文学句测的是你的想象力,不是触发器。
今夜できること:选重叠最大的一对 Skill,写 3 条冲突样例并跑到至少 1 条红灯,再靠互斥句或仲裁表修到绿——确认门禁真的吃冲突集。
仲裁表示例表是起点,把它改成你们的业务名:把 shop-faq / ticket-ops 换成真实 skill name。表里「写盘需显式点名」若与产品「一句话下单」冲突,要产品经理签字改预期,而不是让模型猜。
エラーと失敗(少なくとも3件)
- description 只写正向能力:两 Skill 用同义词抢同一句。处理:强制负向边界句;冲突评测覆盖同义词。
- 仲裁表只在聊天里口头约定:新人合入第三个 Skill 时无据可依。处理:表进仓库;CI 检查文件存在。
- 冲突样例 expect 写成「A 或 B」:评测永远假绿。处理:期望必须唯一;平局用 expect_trigger=false。
- 合并 Skill 却忘了合并 evals:旧 id 失效。处理:合并 PR 必须含评测迁移清单。
- 写盘 Skill 在平局时仍触发:安全优先级未进钩子。处理:钩子层硬拦;评测加「未点名不得写盘」硬失败。
今夜できること:故意提一条「帮我处理退货」类平局句,看现网/干跑是否会触发写盘 Skill;若会,先加硬拦再改文案。
还有一类静默失败:两个只读 Skill 同时「像对」,助手拼出一段混合答案,用户以为来自权威政策,其实一半来自过期 reference。仲裁表对此的默认应是「单一来源」,而不是「都读一点」。评测里对这类句要期望唯一 skill 名。
若你们的运行时暂时无法读取仲裁表文件,至少把优先级写进各 Skill description 的互斥句,并在钩子里对写盘类做硬编码黑名单。文件化仲裁是目标态;硬拦是底线态。没有底线就不要上第三个 Skill。
練習
- 画出仓库 Skill 清单,标记至少一对重叠,并决定拆或合(写 5 行理由)。
- 给该对双方各加互斥句,提交 description diff。
- 写入仲裁表 + 至少 5 条
conflict_pairs样例,跑到SKILL_EVAL_OK. - 从真实日志补 1 条「用户点名」与 1 条「平局应澄清」。
完成标准:同事只看 skills/README 与仲裁表,能说出冲突时谁赢,无需私聊你。
练习做完后,回头看第 6 课 CI:冲突集是否已挂进同一 job。若还要手工跑第二份脚本,说明门禁叙事仍分裂,先合并命令再宣布第 7 课完成。
次回の予告
第 8 课预告:把多 Skill 仲裁与生产 trace/反馈打通——如何从「双候选」日志一键生成冲突样例、如何给写盘类 Skill 加观察期。本课先把离线拆合与仲裁表跑稳;没有冲突红灯,线上编排只会互相抢话。
在第 8 课到来之前,你可以先手工做最小闭环:每周五从日志里抄 3 条疑似双候选,写成 conflict 样例,周一跑回归。闭环丑陋但有效;等自动化来了再替换手工抄写,不要空等。
也请同步提醒安全同事:多 Skill 编排会改变攻击面——诱骗模型点名写盘 Skill 的句子,应进入冲突与安全样例,而不是只出现在红队聊天里。编排表与安全表可以交叉引用同一 id。
本シリーズの目次
- 第1課:30分で、自動的にトリガーされる最初のClaude Agent Skillを作成する — https://school.myshirtai.com/archives/3378
- 第2課:Skillに参照を追加する/「まず計画文書を作成してから実行する」という検証ループ — https://school.myshirtai.com/archives/3462
- 第3課:スクリプト付きスキルとセキュリティ監査 — https://school.myshirtai.com/archives/3521
- 第4課:実際の失敗事例を用いた反復的な説明 — https://school.myshirtai.com/archives/3661
- 第5課:Skillを実際のリポジトリのCI/チーム共有ディレクトリに接続する — https://school.myshirtai.com/?p=3948
- 第6課:評価データセットを用いたSkillの回帰分析 — https://school.myshirtai.com/?p=4048
- 第 7 课:多 Skill 编排:拆合边界与触发冲突仲裁(本文)


评论列表 (0条):
加载更多评论 読み込み中...