排查网页未被 Google 收录
简明回答
先用网址检查工具,再依次查 robots.txt 屏蔽、noindex、Google 选择的规范网址,以及内容质量。Google 从不保证编入索引,满足所有要求也可能不被收录。未收录的网页也不会出现在 AI 概览和 AI 模式中。
- 拥有该网址所在资源的 Search Console 访问权限。
- 用户实际访问的准确网址,包括协议和末尾斜杠。
1. 检查网址
Section titled “1. 检查网址”以下步骤按「网页索引编制」中字段的顺序进行(见 网址检查工具)。
2. 抓取是否被屏蔽?
Section titled “2. 抓取是否被屏蔽?”如果「是否允许抓取?」为「否」,而你希望网页被收录,请删除屏蔽规则(见 robots.txt)。如果你希望网页不出现在结果中,robots.txt 是错误的工具。见第 3 步。
3. 编入索引是否被阻止?
Section titled “3. 编入索引是否被阻止?”如果「是否允许编入索引?」为「否」,请在 <meta name="robots"> 标记或 X-Robots-Tag 响应头中找到 noindex 并删除。常见来源是模板、CMS 设置和预发布环境的配置。
4. Google 是否选择了其他规范网址?
Section titled “4. Google 是否选择了其他规范网址?”如果「Google 选择的规范网址」是另一个网址,说明 Google 收录的是那个网址。两个网页确实重复时,这是正确结果。
如果不重复,请让各种信号保持一致:canonical 标记、内部链接和站点地图都指向你想要的网址(见 规范网址(canonical)信号)。
5. 没有任何技术问题
Section titled “5. 没有任何技术问题”到这一步,问题变成了这个网页是否值得收录。见 以人为本的内容(People-first content)。
- 每次修复后运行测试实际网址。然后为该网址请求编入索引;网址多时重新提交站点地图。
- 等 Google 重新抓取后再次检查。请求编入索引有每日次数限制,也不保证会被收录。
- 把「网址已收录到 Google」当作网页出现在结果中的证明。它只表示符合条件。要确认,请搜索该网址。
- 同时用 robots.txt 屏蔽网页并添加
noindex:Google 永远看不到这个noindex。 - 反复请求编入索引,而不去修复原因。
对 AI 搜索的影响
Section titled “对 AI 搜索的影响”网页要作为辅助链接出现在 AI 概览或 AI 模式中,必须已被编入索引,并符合显示摘要的条件(见 Google AI 概览(AI Overviews))。未被收录的网页在那里同样不会出现。