# AI 搜索可访问性检查

> 做内容之前，先确认 AI 搜索系统能访问页面。六项检查都有平台文档依据：已索引可展示摘要、robots.txt 放行、CDN 与防火墙放行、无意外摘要限制、内容在服务端 HTML 中、日志有验证过的爬虫访问。

- URL: https://geo.casa/zh-cn/playbooks/ai-search-access-audit/
- 指南 · 官方文档已说明
- 审核于: 2026-10-25

## 开始之前

- 挑几个有代表性的 URL（一篇重要指南、一个产品页、一个专题页），不必检查整站。
- 需要能访问 Google Search Console、线上的 `robots.txt`、CDN 或防火墙设置，以及服务器或 CDN 日志。

## 1. 已被索引且可展示摘要

> **官方文档已说明:**
> 要在 AI 概览或 AI 模式中作为支持链接出现，页面「必须已被编入索引，并有资格在 Google 搜索中以摘要形式展示」。没有其他技术要求。
>
> 参考来源: [Google Search Central: AI features and your website](https://developers.google.com/search/docs/appearance/ai-features)

用 Search Console 的网址检查工具确认。如果未被索引，先停下来解决索引问题。

## 2. robots.txt 允许搜索爬虫

每个 AI 搜索产品都有自己的爬虫标识，屏蔽它就会从该产品中消失。确认你关心的标识都被允许：Googlebot、OAI-SearchBot、Claude-SearchBot、PerplexityBot。详细说明见 [为 AI 爬虫配置 robots.txt](https://geo.casa/zh-cn/crawling-indexing/robots-txt-ai-crawlers/)。

> **官方文档已说明:**
> OpenAI：「退出 OAI-SearchBot 的网站不会出现在 ChatGPT 搜索回答中，但仍可能以导航链接的形式出现。」
>
> 参考来源: [OpenAI: Overview of OpenAI crawlers](https://developers.openai.com/api/docs/bots)

## 3. 没有被 CDN、防火墙或托管平台拦截

> **官方文档已说明:**
> Google 把「确保 robots.txt 以及任何 CDN 或托管基础设施都允许抓取」列为对 AI 功能仍然重要的做法之一。
>
> 参考来源: [Google Search Central: AI features and your website](https://developers.google.com/search/docs/appearance/ai-features)

机器人防护规则经常对 robots.txt 已允许的爬虫返回 `403` 或验证页面。请在防火墙日志中查看，来自已验证爬虫 IP（见第 6 步）的请求是否被拦截。

## 4. 没有意外的排除设置或摘要限制

> **官方文档已说明:**
> `nosnippet` 会阻止内容被直接用作 AI 概览和 AI 模式的输入。`max-snippet` 会限制可使用的内容量。
>
> 参考来源: [Google Search Central: Robots meta tag, data-nosnippet, and X-Robots-Tag specifications](https://developers.google.com/search/docs/crawling-indexing/robots-meta-tag)

先在 Search Console 中检查**设置 › 搜索生成式 AI**。如果网站被设为排除，它根本不会出现在 AI 概览或 AI 模式中（[搜索生成式 AI 控制](https://geo.casa/zh-cn/ai-search/search-generative-ai-control/)）。子资源可能从父资源继承这项设置。

然后检查每个 URL 的 HTML 和响应头中是否有 `noindex`、`nosnippet`、`max-snippet` 和 `data-nosnippet`。模板和插件添加这些规则的情况比想象中常见。见 [AI 概览与 AI 模式的摘要控制](https://geo.casa/zh-cn/crawling-indexing/snippet-controls/)。

```sh
curl -sI https://example.com/page/ | grep -i x-robots-tag
curl -s  https://example.com/page/ | grep -iE 'name="(robots|googlebot)"|data-nosnippet'
```

## 5. 主要内容在服务端 HTML 中

> **官方文档已说明:**
> Google 推荐服务端渲染或预渲染，因为「并非所有爬虫都能运行 JavaScript」。
>
> 参考来源: [Google Search Central: Understand JavaScript SEO basics](https://developers.google.com/search/docs/crawling-indexing/javascript/javascript-seo-basics)

不执行 JavaScript 获取每个 URL，确认正文、各级标题和链接都在。背景见 [JavaScript 渲染与 AI 爬虫](https://geo.casa/zh-cn/implementation/javascript-rendering-ai-crawlers/)。

## 6. 爬虫确实来访

> **官方文档已说明:**
> Google 的爬虫可以通过先反向、再正向 DNS 查询验证，或对照 Google 公布的 IP 列表验证。
>
> 参考来源: [Google: Verify requests from Google crawlers and fetchers](https://developers.google.com/crawling/docs/crawlers-fetchers/verify-google-requests)

只统计验证过的访问（[在服务器日志中验证 AI 爬虫流量](https://geo.casa/zh-cn/implementation/verify-ai-crawlers/)）。如果你允许的某个搜索爬虫没有任何验证过的访问，说明前面某一步仍在拦截它。

## 记录结果

| 检查项 | 通过 / 未通过 | 备注 |
|---|---|---|
| 1. 已索引、可展示摘要 | | |
| 2. robots.txt 允许搜索爬虫 | | |
| 3. CDN / 防火墙放行 | | |
| 4. 没有 AI 排除设置或意外的摘要规则 | | |
| 5. 内容在服务端 HTML 中 | | |
| 6. 有经过验证的爬虫访问 | | |

## 常见错误

- 爬虫还被防火墙拦着，就开始改内容。
- 把「robots.txt 允许」当成「能够访问」。两者经常不一致，所以才有第 3 步和第 6 步。
- 把全部通过当成会被引用的保证。这些检查只是前提条件。Google 说明，满足要求并不保证会被抓取、索引或展示。

## 参考来源

- [Google Search Central: AI features and your website](https://developers.google.com/search/docs/appearance/ai-features)
- [Google Search Central: Robots meta tag, data-nosnippet, and X-Robots-Tag specifications](https://developers.google.com/search/docs/crawling-indexing/robots-meta-tag)
- [Google Search Console Help: Search generative AI control - Search Console Help](https://support.google.com/webmasters/answer/16908024)
- [Google Search Central: Understand JavaScript SEO basics](https://developers.google.com/search/docs/crawling-indexing/javascript/javascript-seo-basics)
- [OpenAI: Overview of OpenAI crawlers](https://developers.openai.com/api/docs/bots)
- [Google: Verify requests from Google crawlers and fetchers](https://developers.google.com/crawling/docs/crawlers-fetchers/verify-google-requests)