AI ENGINEERING · EXECUTABLE EVAL
Alibaba Skill-Up 已进入协作空间
不是只克隆仓库：已完成 Fork、本机构建安装、7 个项目测试用例、三类失败归因、Fork 修复与代表性用例 100% 回归。
交付结果
7
可执行测试用例滨州一卡通 4 个，控制仓同步路由 3 个。
3
真实失败根因断言过拟合、Codex 配置继承、pre-commit Go 路径反转。
1/1
目标回归通过充值闭环代表性用例最终 PASS，失败证据未覆盖。
失败如何被处理
| 阶段 | 结果 | 归因 | 动作 |
|---|---|---|---|
| 基线 | FAIL | EVAL_DEFECT | 答案业务正确，断言错误要求固定同义词；修断言，不改业务 Skill。 |
| 第二轮 | ERROR | ENGINE_INFRA | Codex 继承整机配置后不退出；Fork 新增单轮隔离开关。 |
| 隔离回归 | FAIL | EVAL_DEFECT | 把“支付回调/资金流水”收敛为稳定概念“回调/流水”，保留全部关单门禁。 |
| 最终 | PASS 100% | 通过 | 1 passed，0 failed，0 errors。 |
现在团队可以怎么用
Skill 路由与安全门禁
验证该加载/不该加载、禁止错误闭环宣称、mock 与生产证据边界。
故障复盘资产化
把线上问题转成永久 case，Skill 下一次改动先跑失败用例再跑套件。
CI 与多引擎评测
输出 JSON/JUnit/HTML；后续可对照多个 Agent 引擎和稳定性 iteration。
运行入口
Fork：jiangyang118/skill-up，固定提交 19af2ff。
本机：/Users/jack/code/099-github/jiangyang118/skill-up；命令：/Users/jack/.local/bin/skill-up。
项目 Skill：standards-stack/agent-skills/skills/skill-up-evaluation-regression/SKILL.md。
证据边界
本次证明本机工具链和一个代表性 Skill 用例的失败修复回归；不代表滨州生产支付/一卡通资金 E2E 已通过。其余 6 个用例已完成配置验证，尚未逐个跑模型回归。远程 runtime、judge、MCP、OTLP、沙箱绕过以及客户/生产数据均未启用。