本机招投标爬虫项目盘点与复用路线
日期：2026-06-15。目标：查找 Mac 本机已有招投标爬虫/深挖项目，判断如何支撑“项目清单 Excel -> 每项目一个招投标详情 Excel”的批量任务。
4重点可复用项目/模块
1685已存在单项目 Excel
1单项目 Excel 索引
345当前仓库 2026 H1 清洗项目
结论
最适合复用的主线是 /Users/jack/code/099-github/tender-intel-ai，底层补充使用 /Users/jack/code/099-github/agency-agents/data/canteen-growth/tender-intelligence 的公开源站深挖脚本。当前已有 1685 个单项目 Excel 输出，可先作为第一批成果和字段模板。
本轮没有发起新的大规模抓取，因为用户尚未给出明确的输入 Excel 路径；乙方宝/千里马等聚合站详情可能需要授权登录，按规则不能绕过登录、验证码、会员墙或反爬。
候选项目盘点
| 项目/路径 | 定位 | 可复用能力 | 本任务适配度 |
|---|---|---|---|
/Users/jack/code/099-github/tender-intel-ai |
智慧食堂招投标情报与项目详情补充管线 | 已有年度详情工作簿、项目内容结构包、单项目 Excel 导出脚本、证据片段和附件索引 | 主项目。适合作为本次批量输出入口。 |
/Users/jack/code/099-github/agency-agents/data/canteen-growth/tender-intelligence |
更早的市场情报与公开源站深挖项目 | run_bottom_up_tender_deep_dive.py、deep_mine_tender_details.py、collect_daily_tenders.py、源站抓取日志、附件索引 |
底层抓取/补详情能力。适合被 tender-intel-ai 或当前仓库调用。 |
/Users/jack/code/099-github/fanfan/FanfanTenders_Robot |
番番寻标宝/百度寻标宝老接口爬虫 | 可按关键词拉列表、解析 JSON 到详情列表 | 备选。不建议主用，接口和登录态老旧，字段不足。 |
/Users/jack/code/099-github/jiangyang118/OpenBidKit_Yibiao |
AI 标书生成/解析桌面工具 | 解析采购文件、生成技术标、投标响应知识库 | 适合后续解析招标文件和生成响应，不是爬取主入口。 |
已存在输出
| 类型 | 路径 | 说明 |
|---|---|---|
| 单项目 Excel 目录 | /Users/jack/code/099-github/tender-intel-ai/runs/enrichment/2026-05-24-plan-full-run/project_detail_excels_2026/ |
1685 个项目 Excel + 索引工作簿。 |
| 单项目索引 | .../project_detail_excels_2026/2026_项目详情单项目Excel_索引.xlsx |
包含 ledger_id、项目名称、项目编号、金额、内容包状态、软硬件/金额行数和 workbook_path。 |
| 年度增强工作簿 | /Users/jack/code/099-github/tender-intel-ai/runs/enrichment/2026-05-24-plan-full-run/智慧食堂招投标_全量详情与金额构成_2026.xlsx |
年度粒度总表，含需求、软件硬件金额构成、证据片段、附件索引、源站抓取日志、缺口清单。 |
| 当前仓库项目清单候选 | /Users/jack/code/010-cpt/008-zhct/bid-analysis-methodology/data/raw/2026年1月-6月乙方宝中标通知20260612.xls |
当前仓库清洗后为 345 条 2026 H1 智慧食堂中标记录。 |
字段覆盖
| 用户要求字段 | 当前已有覆盖 | 缺口 |
|---|---|---|
| 软件部分 | 已有 软件功能描述 sheet 和 project_software_modules_full.csv |
部分项目只有关键词信号，缺完整采购文件证据。 |
| 硬件设备参数 | 已有 硬件设备参数 sheet 和 project_hardware_parameters_full.csv |
型号、数量、单价依赖附件/报价明细，缺口较多。 |
| 供应商资质 | 当前可从公告正文和采购文件中抽取，尚未独立成 sheet | 需要新增抽取表：资质要求、评审依据、证据来源、是否中标方满足。 |
| 评分情况 | 公开采购文件中可能存在；现有年度表未单独结构化 | 需要抓取招标文件/磋商文件附件，并抽取评分表。 |
| 中标原因 | 可由评分、报价、资格和公告结论推断，但必须标注证据等级 | 不能无证据编造，需要区分“公告明示原因”和“基于证据的分析推断”。 |
| 参与投标的 3 家公司名单 | 部分公告有候选人/成交候选供应商 | 大量中标公告只披露中标人；需追候选人公示、开标记录或评标报告。 |
建议执行顺序
- 确认用户输入 Excel 的绝对路径。如果就是当前仓库 2026 H1 乙方宝表，则使用
data/raw/2026年1月-6月乙方宝中标通知20260612.xls。 - 先复用
tender-intel-ai已有单项目 Excel，给用户一批可打开的初版目录和索引。 - 针对用户新增字段，在
tender-intel-ai的项目内容包基础上追加 4 个 sheet：供应商资质、评分情况、中标原因、投标公司名单。 - 对缺口项目调用
agency-agents/.../run_bottom_up_tender_deep_dive.py追公开源站、招标文件、候选人公示和附件。 - 对登录受限的聚合站详情，记录
login_required、captcha_required或member_wall，等待用户授权导出或登录态。
阻塞项
继续实际爬取前，需要用户确认输入 Excel 的路径，以及是否允许使用已授权账号导出的乙方宝/千里马数据。没有授权时，只能抓公开源站和本机已缓存/已导出的数据。