浏览 AI 知识库
Skill 怎么测试：输出不稳定时先查说明、资料还是脚本
Skill 输出不稳定时，先判断是触发说明含糊、参考资料过期，还是脚本执行失败。针对故障层修改并跑回归，别每次都重写整套说明。
先比较关键条件，再作选择
把自己的条件代入判断项；没有证据的维度保留未知，不用印象替代结论。
结果忽好忽坏时，问题未必出在 SKILL.md 正文
Skill 输出不稳定，维护者每次都重写整份说明。有时问题其实是参考资料过期，有时是脚本解析失败；全量重写让新回归更多。
- 失败先归因到具体层
- 每轮修改范围可解释
- 全量固定样本已回归
‘没触发’和‘输出错’不能用同一修复
| 症状 | 证据 | 归因层 | 只改什么 |
|---|---|---|---|
| 用户说‘检查商品图’没有调用 | Skill 未出现在候选列表 | description/作用域 | 先修触发说明和安装位置 |
| 能调用但漏掉色彩空间 | 输入已读，报告缺字段 | SKILL.md/模板 | 补字段和验收，不改触发词 |
| 尺寸检查结果稳定但脚本覆盖原图 | 日志显示写入原路径 | 脚本安全边界 | 改为只读或新文件，不重写整份 Skill |
| 更新后旧正例不再触发 | 回归集出现 2 条失败 | 兼容性 | 回退或写迁移说明，再发布 |
证据必须来自当前客户端日志、输出和测试集，不凭感觉判断失败层。
先把本例的条件、限制和目标摆出来
| 需要确认 | 本例内容 |
|---|---|
| 现有材料 | 固定测试集包含 5 个正例、4 个反例、3 个边界例；失败样本分别涉及触发、事实与脚本。 |
| 不能越过的边界 | 先按触发、输入、说明、参考、工具和脚本定位；一次只改一个层；保留基线与回归结果。 |
| 要交付的结果 | 正反例测试集、回归结果与修订记录 |
Skill 怎么测试，哪些条件会改变最后选择
| 判断条件 | 本例怎么核对 |
|---|---|
| 建立固定测试集 | 正常、缺材料、越界、相邻和故障任务都写预期触发、步骤与结果。 |
| 记录失败层 | 区分未触发、错误触发、输入遗漏、规则误解、工具失败、输出不合格和权限越界。 |
| 只改对应组件 | 触发改说明，知识改资料，流程改正文，重复计算或文件操作改脚本；一次只动一类。 |
| 重跑全量回归 | 不仅重跑失败例，还检查以前通过的用例，记录客户端和 Skill 版本。 |
| 保留兼容说明 | 有意改变触发或输出时写迁移与影响，不静默破坏团队旧用法。 |
Skill 怎么测试：按本例条件得到的结论
正反例测试集、回归结果与修订记录
测试表发现 2 个漏触发来自描述、1 个事实错误来自旧参考、1 个失败来自脚本路径。分别小改后 12 个样本全量复测，历史通过项没有回退；版本记录说明每处原因。
边界变化后需要重新判断
测试集只覆盖已知边界，新事故仍需转成回归样本，不能宣称永远稳定。
为什么“回归全绿，真实任务仍失败”还不能交付
回归全绿，真实任务仍失败
- 原因
- 测试样本过于理想或没有环境变化
- 怎么改
- 加入真实失败输入、不同路径和权限环境，按风险扩展测试集