数据字典与清洗口径
字段
| 字段 | 含义 | 清洗建议 |
|---|---|---|
| 关键词 | 抓取或检索关键词 | 用于主题分组，不直接代表项目类型 |
| 项目名称 | 公告标题/项目名 | 用于需求类型抽取、重复判断 |
| 信息发布时间 | 公告发布时间 | 转为日期，派生月份/季度 |
| 项目编号 | 招标/采购编号 | 用于去重和复核 |
| 发布省份 | 省级区域 | 统一省份简称 |
| 发布市级 | 市级区域 | 统一地名，直辖市可等于省份 |
| 发布区级 | 区县 | 缺失时保留为空 |
| 中标阶段 | 当前公告阶段 | 当前样例为中标通知 |
| 中标金额（元） | 中标金额 | 转为数值，保留缺失和异常标记 |
| 招标单位 | 采购方/客户 | 做简称、分公司、集团归一 |
| 招标单位联系人 | 客户联系人 | 敏感字段，默认不公开提交 |
| 招标单位联系人电话 | 客户电话 | 敏感字段，默认不公开提交 |
| 中标单位 | 供应商/竞品 | 做企业别名归一 |
| 中标单位联系人 | 供应商联系人 | 敏感字段，默认不公开提交 |
| 中标单位联系人电话 | 供应商电话 | 敏感字段，默认不公开提交 |
| 合同开始时间 | 合同开始日期 | 可为空 |
| 合同结束时间 | 合同结束日期 | 可为空 |
| 合同工期 | 合同周期/服务期 | 统一为天数 |
| 官网查看地址 | 公告详情 URL | 用于追溯证据 |
去重规则
优先级从高到低：
- 项目编号完全一致。
- 官网查看地址完全一致。
- 项目名称 + 招标单位 + 中标单位 + 金额一致。
- 项目名称高度相似且发布时间相差 7 天以内。
金额异常规则
- 金额为空：保留，不能当作 0。
- 金额小于等于 0：标记异常。
- 金额高于 P99 或高于中位数 50 倍：标记为超大额，需要人工复核。
- 同一项目出现多个金额：优先以官方公告详情为准。
单位归一规则
- 去除空格、全角半角差异。
- 分公司保留原名，同时映射到集团字段。
- “股份有限公司”“有限责任公司”等不要直接删除，避免误合并。
- 人工维护
processed/unit-aliases.csv，字段建议为raw_name,canonical_name,entity_type,notes。