PM-skill 5 数据分析包
把 pm-data-analytics 落成团队可复用的数据分析工作流:自然语言转 SQL、cohort/retention 分析、A/B 测试 /analyze-test 决策。
1. 当前结论
可以做:基于
control/task-index/tasks.tsv 和 Codex thread archive,做 PM 工作流使用情况、证据覆盖、skill 复用、cohort/retention 分析框架。不能宣称:现在没有真实 A/B 实验数据,不能给任何产品变化下 ship / extend / stop 的统计结论。
任务索引235 条任务记录,可用于 tags、skills、evidence_path、status 分析。
线程归档1208 条线程索引,可用于线程主题、workspace、updated_at 分析。
PM 数据分析已确认真实 skill 名:SQL、cohort、A/B test 三条。
2. 三个真实 PM-skill 入口
| 用户要做什么 | 使用 skill | 输出 |
|---|---|---|
| 自然语言转 SQL | pm-data-analytics-sql-queries | SQL、解释、性能注意事项、验证方式 |
| 留存、cohort、功能采用 | pm-data-analytics-cohort-analysis | cohort 表、retention 曲线口径、复用率和异常解释 |
| A/B 测试分析 | pm-data-analytics-ab-test-analysis | 显著性、样本量、置信区间、ship / extend / stop |
3. 自然语言转 SQL 示例
建议把 tasks.tsv 和 thread archive JSON 导入 SQLite 或 DuckDB,再让 PM 用自然语言提问。
SELECT
task_id,
title,
status,
evidence_path,
skills,
tags,
updated_at
FROM task_index
WHERE skills LIKE '%pm-%'
OR tags LIKE '%pm-skills%'
ORDER BY updated_at DESC;
适用问题:最近哪些任务用了 PM Skills?输出证据在哪里?哪些任务还缺 review 或数据验证?
4. Cohort / Retention 设计
| Cohort | Retention 事件 | 用途 |
|---|---|---|
| Skill adoption cohort | 同一 skill 在后续任务再次出现 | 判断 skill 是否真正被复用 |
| Workflow pack cohort | Strategy Pack / Bid Pack / Delivery Pack 被后续任务复用 | 判断标准包是否产品化成功 |
| Evidence cohort | evidence_path 后续被引用或更新 | 判断证据文件是否真的有用 |
已提供 CSV 模板:cohort-retention-input-template.csv。
5. /analyze-test 决策门槛
当前状态:无真实实验数据。不能输出 ship 结论,只能输出实验设计和采数模板。
| 结果 | 决策 |
|---|---|
| 显著提升,且 guardrail 没退化 | Ship |
| 正向趋势但样本不足 | Extend |
| 无差异且无定性收益 | Stop |
| 主指标提升但隐私、质量、性能或 unsupported claims 增加 | Investigate |
已提供采数模板:pm-data-analytics-input-template.csv。
6. 下一步
- 把
tasks.tsv和 thread archive 导成 SQLite / DuckDB 分析库。 - 后续每个 PM-skill 1~5 请求记录 request_id、route、是否完成标准输出包、review 结论。
- 积累足够请求样本后,再用
/analyze-test判断显式 PM-skill 路由是否该成为默认流程。