康比特数字体育科技 · 运维诊断 · 2026-10-01
MQTT 短信已降噪
数据库另立只读排查任务
本轮频繁短信主要来自“无数据—恢复—10分钟重发”。五条规则已按授权校准;凌晨数据库高 IOPS 是真实负载问题,已交赖清涛排查。
已执行
先修正判定,再控制重复通知
五条业务规则
配置回读 5/5 通过
缺样保持上次状态;重复告警由10分钟改为60分钟。检测仍为每分钟,阈值、餐段、联系人和恢复通知保持。
严重防线保留
12条保护规则回读未变化
4条共享MQTT平台规则、7条Redis正式规则和1条停用演练规则未调整。未重启业务进程。
共享连接数111—158;金斯瑞目标Topic两项吞吐各133个采样,时间和值逐点相等;双机8个消费worker连续运行约5天。本批短信没有证明MQTT反复宕机。
云端去重后32个发送事件:22个无数据触发、10个恢复。不能将发送记录数当作故障次数或手机精确收信数。
缺样仍是未知。当前保留历史INSUFFICIENT_DATA状态;配置回读通过不等于已验证下一餐段的短信效果。
真实负载 · 数据库未修改
17分钟高IOPS,需要独立整改
00:11—00:27连续17个分钟点超过80%,多点达到100%;同期CPU最高3.373%,内存最高18.522%。应优先排查I/O工作负载,不能直接靠调低告警频次解决。
| 慢查询族 | 窗口记录 | 最慢 | 单次扫描最高 |
|---|---|---|---|
| MQ消息重发扫描 | 77 | 9.173秒 | 9,832行 |
| AI待处理对话扫描 | 36 | 40.689秒 | 4,678行 |
| 过期订单扫描 | 18 | 21.086秒 | 135,810行 |
| MQ多类型重发扫描 | 18 | 8.684秒 | 9,832行 |
| 浩顺同步最大流水号 | 17 | 28.845秒 | 187,548行 |
| 全历史营养/菜品聚合 | 7 | 38.803秒 | 947,465行 |
已获得00:00—01:00完整311条慢日志。同期慢SQL是候选贡献者,尚未证明唯一根因。查到的自动备份发生于01:56—02:01,未与此次尖峰重叠。
责任与下一门禁
VWCG-1405 已提交给赖清涛
状态:待处理 · 类型:任务 · 项目:【产品线】智慧营养健康餐厅 · 创建人:姜阳
- 只读对齐I/O读写分解、慢SQL来源、定时器和实际部署版本。
- 逐SQL核对现有索引与EXPLAIN,提出批量限制、增量统计、轮询和索引优化方案。
- 提交结果一致性、性能对比和回滚计划;评审前不修改生产数据库。
- 下一营业餐段核对短信降噪;独立补项目级worker、client在线、积压与业务ACK监控。
验收状态与证据边界
笔记5张图片已逐图核对;指标/规则/进程/慢日志均只读回读。Computer Use因sky服务未配置无法操作短信App,用户提供截图与AX文字已纳入证据。数据库零写入。源码只作候选定位,未将旧分支冒充生产根因。