百度指数工具：一次全站扫描被中断后怎样判断已覆盖范围
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /d8d244f2e5f8.html
📄
百度指数工具：一次全站扫描被中断后怎样判断已覆盖范围
先给结论：中断后不要凭“跑到第几页”或“剩多少条”估算覆盖范围，而要把已抓到的每一条记录还原成它对应的输入单位，再和原始输入清单做差集。差集之外的部分才是真正未知的区域，差集之内的部分即使样本看起来正常，也不能直接当作全量结论使用。
先明确扫描的输入单位是什么
全站扫描通常有两种输入单位：一种是站点地图或栏目列表里的 URL，另一种是站内搜索、标签页或分页产出的词条与页面组合。中断发生时，工具往往只留下一个进度数字，而这个数字对应的单位可能和你手上的清单并不一致。
判断覆盖范围的第一步，是把工具已产出的结果整理成一张可核对的表，至少包含两列：输入标识（URL、词条或页面 ID）和抓取状态。如果结果里只有聚合数值而没有逐条标识，那么这次中断的覆盖范围实际上无法精确判断，只能重新跑一次或改用可断点续跑的方式。
假设你手上有一份 500 个 URL 的清单，扫描中断后导出 180 条记录。若这 180 条都能和清单中的 URL 一一对应，那么已覆盖范围就是这 180 个 URL，剩余 320 个是空白区。若导出记录里出现清单之外的 URL，说明扫描过程中发生了跳转、重定向或参数展开，覆盖范围要按实际访问过的地址重新归并，不能简单用 180 除以 500 得出比例。
用差集而不是进度条判断真实覆盖
进度条、百分比和“已处理条数”都只是工具内部的计数，它们不保证每条输入都被成功处理。中断后更可靠的做法是做一次差集核对：
- 把原始输入清单单独保存一份，作为基准。
- 把已产出结果中的输入标识去重后提取出来。
- 用基准减去已产出标识，得到未覆盖集合。
- 再检查已产出标识中有没有基准之外的项，单独归入“额外覆盖”。
这个动作的结果会直接决定下一步：如果未覆盖集合很小且集中在某几个栏目，可以只补跑这些栏目；如果未覆盖集合分散且没有明显规律，说明中断发生在扫描早期或输入顺序被打乱，补跑的成本接近重跑，此时直接重跑并开启断点记录更划算。
需要注意，差集核对依赖输入清单本身是完整的。如果原始清单来自站内搜索或标签聚合，它可能只覆盖了部分页面，那么差集算出的“已覆盖”也只是相对于这份清单的覆盖，不能等同于整站覆盖。
样本正常不代表规模化后仍然成立
中断前抓到的少量样本往往表现正常，这容易让人误以为剩余部分也会一样。但个别样本成立和规模化后成立是两件事，常见例外包括：
- 分页深度差异。前几页返回稳定，深分页开始出现重复、截断或空结果。
- 栏目结构差异。资讯栏目正常，商品或问答栏目因为动态加载而漏抓。
- 词条热度差异。头部词有稳定数据，长尾词返回空值或极低值，容易被误判为无需求。
- 时间窗口差异。扫描跨天进行时，部分日期的数据尚未稳定或已被修正。
这些例外不能靠“样本看起来没问题”排除。判断方法是：在未覆盖集合里抽一小批，单独补跑，比较补跑结果和中断前样本在字段完整度、数值分布和异常比例上是否一致。如果补跑样本出现明显不同的空值率或重复率，那么已覆盖部分也不能直接用于全量结论。
把中断记录转成可执行的补跑方案
假设你正在用百度指数工具核对一批词条的关注趋势，扫描到一半进程被终止，导出文件里有 120 条词条记录，原始词表有 400 条。可以按下面的顺序处理：
- 把 120 条记录的词条名去重，和 400 条词表做差集，得到 280 条未覆盖词条。
- 检查这 120 条里有没有词表之外的词，如果有，说明词表本身需要先修正。
- 从未覆盖的 280 条中按词长、词类和来源栏目分层，每层抽几条先补跑。
- 比较补跑结果和原有 120 条的字段完整度，若差异明显，则放弃“只补剩余部分”的做法，改为整批重跑。
- 若差异不明显，再按差集补跑剩余词条，并在每次中断后保留输入标识，便于下次继续做差集。
这个流程的关键动作是第 3 步和第 4 步：先抽样验证补跑结果是否和已覆盖部分同质，再决定是补跑还是重跑。跳过这一步直接补跑，可能得到一份前后口径不一致的数据，后续无论怎么分析都难以解释。
哪些情况下不能照搬这套判断
差集核对成立的前提是输入清单可枚举、结果可逐条对应。如果扫描对象是整站无固定清单的爬取，或者工具只返回聚合指数而不返回逐条标识，那么这套方法只能用于粗略估计，不能给出精确覆盖范围。此时更实际的做法是改用带断点续跑和逐条日志的方式重新执行，而不是在旧结果上反复推算。
另外，如果中断发生在数据写入阶段而非抓取阶段，已抓取但未落盘的部分不会出现在导出结果里，差集会把它们算作未覆盖，导致补跑量偏大。判断方法是查看工具是否有临时缓存或中间文件，若有，先合并再算差集；若没有，按未覆盖处理更稳妥。
覆盖范围判断清楚之后，下一步才是决定这批数据能否用于趋势比较。若已覆盖部分和补跑部分口径一致、时间窗口对齐，可以合并使用；若存在字段缺失或时间错位，应把两部分分开标注，避免把中断造成的缺口误读成趋势变化。
