维护页撤下不等于抓取状态自动回到从前。恢复后要核对的不是“页面能不能打开”,而是维护期间留下的三类残留:HTTP 状态与响应头、robots.txt 与页面级 noindex、以及站内链接与站点地图指向。这三类信号中任何一类没清干净,都会让百度继续把 URL 当作不可索引或低优先级对象,表现为新内容迟迟不出现、旧内容从结果里消失更久。
两种维护方式留下的残留完全不同,核对顺序也不同。
Retry-After 响应头已经移除。这个头如果继续存在,等于持续告诉百度“稍后再来”,恢复时间会被反复推迟。判断依据可以看服务器访问日志:恢复后针对该 URL 的请求,状态码分布是否已经从 5xx 转为 200。如果日志里仍混有大量 5xx,说明残留还在,先修服务器再谈收录。
维护期间常见的做法是临时在 robots.txt 里 Disallow 全站,或在页面头部加 noindex。恢复后这两处必须逐一确认。
动作上,先直接请求 /robots.txt,确认没有残留的整站 Disallow: /;再抽查若干关键页面的 HTML 源码,确认 <meta name="robots" content="noindex"> 已删除或改为 index,follow。如果站点用 X-Robots-Tag 响应头控制索引,也要一并检查该头是否还在。
这里有一个容易误判的点:robots.txt 解除限制后,页面不会立刻恢复索引。抓取限制的解除只代表爬虫“可以来”,不代表它“马上会来”,更不代表已有索引状态立即恢复。因此看到抓取量回升,不能直接推断收录已经恢复,还要继续看后续的索引状态。
维护页往往伴随导航、面包屑或站点地图被临时改动。恢复后要核对:
需要明确:站点地图提交只帮助发现 URL,不保证收录。所以站点地图更新正确,只是排除了一个干扰项,不能当作收录恢复的证据。
假设某栏目在维护期间把 20 个 URL 全部 302 跳转到维护公告页,维护持续了三天。恢复时有两种选择。
条件一:原内容仍完整保留。应把 302 改回 200 直接返回原内容,而不是保留跳转。因为 302 是临时跳转,长期存在会让百度把原 URL 视为指向他处的中间地址,原 URL 的索引价值被稀释。动作是批量检查跳转规则并删除,结果是原 URL 重新独立可访问,后续观察索引状态才有意义。
条件二:部分内容已经下线且不再恢复。对这些 URL 应返回 410 或做 301 指向最相关的新页面,而不是继续 302 到维护公告。动作是先区分“保留”和“退出”两类 URL,再分别处理。结果是退出类 URL 不再被反复抓取,保留类 URL 的抓取预算不被浪费。
例外情况:如果维护期间只是短暂返回 503 且已按规范带 Retry-After,恢复后通常不需要额外改动 URL 结构,只需确认 5xx 消失。此时过度改动反而会引入新的抓取波动。
建议按以下顺序,每一步的结论决定下一步:
要提醒的是,抓取量或请求量下降后回升,不能单独证明残留已清理干净,它也可能只是爬虫调度周期波动。把日志、响应头和页面源码三处证据放在一起看,才能判断维护残留是否真的清完,以及下一步该继续等还是继续修。