增加百度收录：入口页面正常但深层链路失效时怎样定位断点
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /fd5d316a6d8a.html
📄
增加百度收录：入口页面正常但深层链路失效时怎样定位断点
先给结论：入口页面正常只说明抓取通道没有整体关闭，深层链路失效通常发生在“入口页能发现链接，但链接指向的下一跳无法被稳定抓取或解析”这一段。定位时不要从全站抓取日志开始翻，而应取一条从入口到目标的真实路径，逐跳验证百度是否能拿到可索引的HTML，并把断点缩小到某一跳的响应、渲染或链接生成环节。
为什么入口正常不等于深层可收录
入口页面返回200、标题和正文都正常，只能证明这个URL本身对爬虫可达。深层页面依赖入口页上的链接被提取，再经过一跳或多跳到达。任何一跳出现下面三种情况，都会让后续页面从抓取队列里消失：链接是脚本运行后才插入的、目标返回非200状态、目标返回200但正文由前端异步填充。三种情况在入口页上往往看不出异常，因为入口页自身不依赖这些条件。
这也是“样本成立、规模化失效”的典型边界。你手动挑几条路径测试时，浏览器已经执行了脚本、带了登录态或命中了缓存，深层页面看起来完全正常；但百度抓取时没有这些前提，链路就在中途断掉。因此单条路径的人工验证不能直接推广到全量，必须先确认这条路径在无脚本、无登录态、无缓存条件下是否仍然成立。
两种解释：链接发现失败还是目标抓取失败
深层链路失效可以归为两类原因，二者的修复动作完全不同。
解释一：链接发现失败。入口页对百度返回的HTML里根本没有指向深层的可提取链接。常见来源是链接由JavaScript在渲染后生成、链接放在需要交互才展开的区块、或者链接被写成按钮加事件绑定而非<a href>。此时百度能抓到入口页，但抓不到通往深层的边。
解释二：目标抓取失败。入口页的HTML里链接存在且可提取，但百度访问深层URL时拿到的是404、301跳转到无关页面、5xx、验证码页，或者200但正文为空壳。此时问题不在发现，而在目标这一跳的响应或渲染。
两种解释都会表现为“深层页面不收录”，但一个是链路没连上，一个是链路连上了却走不通。
用哪些证据区分两种解释
区分的关键是看百度拿到的入口页HTML里到底有没有那条链接。具体动作如下：
- 用百度抓取诊断或抓取异常工具，请求入口页，保存返回的原始HTML，而不是浏览器渲染后的DOM。
- 在原始HTML里搜索深层页面的URL或它的路径片段。搜得到，说明链接已出现在响应体中，偏向解释二；搜不到，偏向解释一。
- 若搜得到，再对深层URL单独发起一次抓取诊断，记录状态码、跳转链和返回HTML长度。状态码异常或HTML为空，确认是目标抓取失败。
- 若搜不到，检查链接是否由前端框架在客户端插入。可以在禁用JavaScript的条件下请求入口页，对比两次HTML的差异。
这个动作的结果直接决定下一步：链接不在原始HTML里，就去改服务端渲染或改用可抓取的<a href>；链接在但目标抓取失败，就去查目标URL的状态、跳转和内容渲染。如果跳过这一步直接改前端，可能修错了环节。
一个注明假设的短例子
假设某分类入口页有200个商品链接，浏览器打开全部正常，但百度只收录了入口页本身。按上面的动作检查，发现原始HTML里只有前20个链接，其余由滚动加载的脚本注入。这是解释一：链接发现失败。修复方向是把分页或“查看更多”改成服务端输出的<a href>，让每一页的链接都出现在响应HTML里。
再假设另一种情况：原始HTML里200个链接都在，但对第50个商品URL做抓取诊断时返回302跳转到登录页。这是解释二：目标抓取失败。修复方向是排查该URL的访问控制或跳转规则，而不是去改入口页的链接结构。两个假设的排查路径不同，说明必须先拿到“原始HTML里有没有链接”这一条证据再动手。
规模化前要检查的适用条件
上面的方法在样本路径上成立，推广到全量前要确认几个条件。第一，入口页的链接生成方式是否统一，如果一部分服务端输出、一部分脚本注入，样本可能恰好落在正常的那部分。第二，深层URL是否存在按参数或用户状态变化的响应，导致同一路径在不同条件下状态码不同。第三，robots.txt是否对深层路径有抓取限制，需要注意抓取限制并不等于可靠的索引移除，被限制抓取的URL仍可能以其他方式出现在结果里，因此不能用它来“清理”深层页面。第四，站点地图里列出深层URL不代表会被收录，站点地图只提供发现线索，不保证抓取和索引。
把这几条确认完，再决定是批量改链接生成方式，还是逐类修目标URL的响应。定位断点的价值就在于：先确定断在发现还是断在抓取，再让修复动作只针对那一段，避免全站范围的无差别改动。
