# 技术/SEO 负责人的 GEO 最佳实践

> AI 搜索只能引用它能访问、读取和摘引的页面。依次检查索引、爬虫标识、CDN 与防火墙、摘要控制和服务端渲染，再在日志里确认已验证的爬虫访问。最后把检查做成自动化测试，防止一次上线或 CDN 默认值变化悄悄把它们撤销。

- URL: https://geo.casa/zh-cn/best-practices/technical-lead/
- 指南 · 官方文档已说明
- 审核于: 2026-10-28

这篇写给负责可抓取性的人：技术 SEO、平台工程师或网站负责人。它把六步的 [AI 搜索可访问性检查](https://geo.casa/zh-cn/playbooks/ai-search-access-audit/) 扩展成一套可以长期负责的流程。第一次完整检查约需两三天，之后每月几小时。你需要 Search Console、Bing Webmaster Tools、CDN 或 WAF 设置，以及原始访问日志。

## 一句话路线

1. 确认关键页面在 Google 和 Bing 已被索引，且可展示摘要。
2. 按爬虫标识设置 robots.txt，把搜索和训练分开。
3. 检查 CDN、WAF 和托管平台是否放行同样的爬虫。
4. 去掉意外的摘要限制和 AI 排除设置。
5. 确保正文在服务端 HTML 中。
6. 在日志里验证真实的爬虫访问；做国内市场的，也要验证国内搜索引擎。
7. 把这些检查自动化，回归时报警。

*每一层都可能挡住下一层，从上往下查。*

## 1. 索引与摘要资格

这里的每个 AI 搜索产品都建立在搜索索引之上。页面没被索引，后面的一切都无从谈起。

> **官方文档已说明:**
> 要在 AI 概览或 AI 模式中作为支持链接出现，页面「必须已被编入索引，并有资格在 Google 搜索中以摘要形式展示」。没有其他技术要求。
>
> 参考来源: [Google Search Central: AI features and your website](https://developers.google.com/search/docs/appearance/ai-features)

- 用网址检查工具抽查各类模板，不要只查首页（[网址检查工具](https://geo.casa/zh-cn/measurement/url-inspection/)）。
- 在网页索引编制报告里看有没有整类模板掉出索引（[网页索引编制报告](https://geo.casa/zh-cn/measurement/page-indexing-report/)、[排查网页未被 Google 收录](https://geo.casa/zh-cn/playbooks/page-not-indexed/)）。
- 在 Bing Webmaster Tools 里做同样的检查，AI Performance 报告也在那里（[Bing AI 表现报告（AI Performance）](https://geo.casa/zh-cn/measurement/bing-ai-performance/)）。

## 2. 按标识设置 robots.txt

每家 AI 公司现在都有多个用途不同的机器人。先写清楚允许哪些用途，再把用途对应到具体标识。

> **官方文档已说明:**
> OpenAI 说明 OAI-SearchBot 和 GPTBot 的设置相互独立。网站可以允许 OAI-SearchBot 以出现在 ChatGPT 搜索中，同时禁止 GPTBot。修改约 24 小时后在搜索中生效。
>
> 参考来源: [OpenAI: Overview of OpenAI crawlers](https://developers.openai.com/api/docs/bots)

> **官方文档已说明:**
> Anthropic 区分 ClaudeBot（训练）、Claude-User（用户请求的抓取）和 Claude-SearchBot（搜索索引）。屏蔽后两者可能降低在 Claude 中的可见度。
>
> 参考来源: [Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?](https://support.claude.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler)

> **官方文档已说明:**
> 对 Google 来说，AI 功能是搜索的一部分，所以针对 Googlebot 的 robots.txt 规则就是抓取控制。Google-Extended 作用于 Google 的其他部分 AI 系统，不作用于搜索。
>
> 参考来源: [Google Search Central: AI features and your website](https://developers.google.com/search/docs/appearance/ai-features)

> **实践观察:**
> 2026 年 8 月对 130 家公司网站 robots.txt 的检查发现，做出明确选择的公司几乎从不屏蔽搜索类爬虫。作者认为同时屏蔽搜索类和训练类爬虫是最常见、代价最大的错误。
>
> 参考来源: DATA17 AI Research Lab · 解数智能: 你的公司还在 AI 的答案里吗：企业 GEO 行动指南 · 2026 (未公开报告，没有公开链接，读者无法自行核对)

| 用途 | 要检查的标识 |
|---|---|
| 搜索索引 | Googlebot、Bingbot、OAI-SearchBot、Claude-SearchBot、PerplexityBot |
| 用户触发抓取 | ChatGPT-User、Claude-User、Perplexity-User |
| 训练 | GPTBot、ClaudeBot、Google-Extended |
| 国内搜索 | Baiduspider、360Spider、Sogou web spider、Bytespider |

各标识的语法见 [为 AI 爬虫配置 robots.txt](https://geo.casa/zh-cn/crawling-indexing/robots-txt-ai-crawlers/) 和 [robots.txt](https://geo.casa/zh-cn/crawling-indexing/robots-txt/)。

> 先按用途写策略，再落到标识。「屏蔽 AI」算不上策略。

## 3. CDN、WAF 与托管

robots.txt 说明你允许什么，边缘网络决定实际放过什么。机器人管理产品现在都带有针对 AI 的默认设置，而且这些默认值会变。

> **官方文档已说明:**
> Google 把「确保 robots.txt 以及任何 CDN 或托管基础设施都允许抓取」列为对 AI 功能仍然重要的做法之一。
>
> 参考来源: [Google Search Central: AI features and your website](https://developers.google.com/search/docs/appearance/ai-features)

> **官方文档已说明:**
> Cloudflare 旧版的「Block AI bots」设置会屏蔽被归类为 AI 训练用途的已验证机器人，不包括同时用于训练和搜索的混合用途机器人。Cloudflare 表示，自 2026 年 9 月 15 日起新域名采用新的默认值：在有广告的页面屏蔽训练类和代理类机器人，放行搜索类机器人；任何 AI 训练屏蔽选项都会屏蔽搜索与训练混合的爬虫。
>
> 参考来源: [Cloudflare: Block AI Bots](https://developers.cloudflare.com/bots/additional-configurations/block-ai-bots/)

- 导出作用于该站点的机器人规则、托管规则集和限速规则。
- 逐个确认第 2 节的搜索类标识是被放行，而不是被质询。
- 在防火墙日志里查已验证爬虫 IP 收到的 `403`、`429` 和验证页面。
- CDN 套餐变更、新增区域或服务商发布公告后，重新检查。见 [HTTP 状态码与爬虫](https://geo.casa/zh-cn/implementation/http-status-crawlers/)。

## 4. 摘要控制与 AI 排除

模板、插件和法务要求都会加上摘要限制。页面可能仍在传统结果中有排名，却悄悄从 AI 回答中消失。

> **官方文档已说明:**
> `nosnippet` 会阻止内容被直接用作 AI 概览和 AI 模式的输入。`max-snippet` 会限制可使用的内容量。
>
> 参考来源: [Google Search Central: Robots meta tag, data-nosnippet, and X-Robots-Tag specifications](https://developers.google.com/search/docs/crawling-indexing/robots-meta-tag)

> **官方文档已说明:**
> 如果用 Search Console 的搜索生成式 AI 控制排除网站，它的链接和内容就不会出现在 AI 概览、AI 模式及相关功能中。这项控制不影响 AI 训练（训练用 Google-Extended），也不是退出搜索的办法（退出用 noindex）。
>
> 参考来源: [Google Search Console Help: Search generative AI control - Search Console Help](https://support.google.com/webmasters/answer/16908024)

- 在 HTML 和响应头中查找 `noindex`、`nosnippet`、`max-snippet`、`data-nosnippet` 和 `X-Robots-Tag`。
- 检查每个 Search Console 资源（包括父域名）的**设置 › 搜索生成式 AI**。
- 有意加限制的页面单独列表，写明原因。

详见 [AI 概览与 AI 模式的摘要控制](https://geo.casa/zh-cn/crawling-indexing/snippet-controls/)、[搜索生成式 AI 控制](https://geo.casa/zh-cn/ai-search/search-generative-ai-control/)。

## 5. 渲染

Google 会渲染 JavaScript，大多数 AI 爬虫不会。只在客户端渲染后出现的内容，它们可能看不到。

> **官方文档已说明:**
> Google 推荐服务端渲染或预渲染，因为「并非所有机器人都能运行 JavaScript」。
>
> 参考来源: [Google Search Central: Understand JavaScript SEO basics](https://developers.google.com/search/docs/crawling-indexing/javascript/javascript-seo-basics)

> **实践观察:**
> Vercel 和 MERJ 于 2024 年 12 月发布的测试发现，他们考察的主要 AI 爬虫都不渲染 JavaScript，涉及 OpenAI、Anthropic、Meta、字节跳动和 Perplexity 的爬虫。使用 Googlebot 基础设施的 Gemini 会渲染。
>
> 参考来源: [Vercel & MERJ: The rise of the AI crawler (17 Dec 2024)](https://vercel.com/blog/the-rise-of-the-ai-crawler)

关闭 JavaScript 抓取每类模板，把正文与渲染后的页面对比。按模板修，不要按单个网址修。见 [JavaScript 渲染与 AI 爬虫](https://geo.casa/zh-cn/implementation/javascript-rendering-ai-crawlers/) 和 [Next.js、Vue 等前端渲染站点：让 AI 爬虫读到正文](https://geo.casa/zh-cn/best-practices/javascript-sites/)。

## 6. 在日志里验证访问

User-agent 很容易伪造。只统计能通过 DNS 或公开 IP 段验证的访问。

> **官方文档已说明:**
> Google 的爬虫可以通过反向 DNS 查询再加正向查询来验证，也可以与 Google 公布的 IP 列表比对。
>
> 参考来源: [Google: Verify requests from Google crawlers and fetchers](https://developers.google.com/crawling/docs/crawlers-fetchers/verify-google-requests)

> **官方文档已说明:**
> OpenAI 以 JSON 公布各爬虫的 IP 地址：`openai.com/searchbot.json`（OAI-SearchBot）、`openai.com/gptbot.json`（GPTBot）和 `openai.com/chatgpt-user.json`（ChatGPT-User）。
>
> 参考来源: [OpenAI: Overview of OpenAI crawlers](https://developers.openai.com/api/docs/bots)

国内市场的各家引擎都有自己的验证方法。

> **官方文档已说明:**
> 百度建议对 IP 做反向 DNS 查询。Baiduspider 的主机名是 `*.baidu.com` 或 `*.baidu.jp`，百度称其他主机名都是冒充的。
>
> 参考来源: [Baidu: FAQs of Baiduspider](https://help.baidu.com/question?prod_id=99&class=0&id=3001)

> **官方文档已说明:**
> 360 搜索表示其爬虫暂不支持 `nslookup` 验证，应与其公布的 IP 段比对。其 user agent 以 `360Spider` 结尾。
>
> 参考来源: [360 Search: 360蜘蛛IP](https://www.so.com/help/spider_ip.html)

> **官方文档已说明:**
> 头条搜索的爬虫名为 `Bytespider`，2019 年 11 月公布了六个 /24 IP 段。
>
> 参考来源: [Toutiao Search: 头条搜索spider介绍](https://www.toutiao.com/i6759451726496940557/)

每天跑一个任务，按标识把每行日志标为已验证、未验证或伪造。方法和脚本见 [在服务器日志中验证 AI 爬虫流量](https://geo.casa/zh-cn/implementation/verify-ai-crawlers/)。国内平台背景见 [国内 GEO 实战：豆包、元宝、千问、文心、DeepSeek 与 Kimi](https://geo.casa/zh-cn/best-practices/china-platforms/)。

> 已放行的爬虫却没有一次验证过的访问，这是故障，不是这周比较安静。

## 7. 监控与回归

大多数准入问题是回归：一条新的 WAF 规则、一次模板改动、某次发布顺手改了 robots.txt。上面的检查应该自动运行。本节是本站推荐的做法，不是平台文档。

- **robots.txt 差异：** 每天抓取，搜索类标识的规则有任何变化就报警。
- **响应头与 meta 测试：** 在 CI 中，如果可索引模板被加上 `noindex` 或 `nosnippet`，构建失败。
- **无 JS 内容测试：** 在 CI 中，不执行 JavaScript 抓取关键模板，断言某句已知正文存在。
- **边缘测试：** 从外网用各搜索类 user agent 请求关键网址，遇到 `403`、`429` 或验证页面就报警。伪造 UA 测试不能证明真实爬虫能通过，要和日志验证配合。
- **日志看板：** 按标识统计每日已验证访问，某个标识降到零时报警。
- **负责人与手册：** 指定一个爬虫准入负责人，并记录谁有权改 CDN 机器人设置。

## 不要做的事

- **不要用一条规则同时屏蔽搜索类和训练类爬虫。** 这是最常见、代价最大的错误（第 2 节）。
- **不要只信 robots.txt。** CDN 可以覆盖它（第 3 节）。
- **不要统计未验证的 user agent。** 它们会虚增爬虫流量（[在服务器日志中验证 AI 爬虫流量](https://geo.casa/zh-cn/implementation/verify-ai-crawlers/)）。
- **能用 robots.txt 解决的，不要按 IP 屏蔽 AI 机器人。** Anthropic 提醒，IP 屏蔽会让它的爬虫读不到 robots.txt（[在服务器日志中验证 AI 爬虫流量](https://geo.casa/zh-cn/implementation/verify-ai-crawlers/)）。
- **不要把检查通过当成引用保证。** 这些只是前提条件（[Google 搜索基本要求（Search Essentials）](https://geo.casa/zh-cn/foundations/search-essentials/)）。
- **不要为了排名给 AI 做专门文件。** Google 搜索会忽略 llms.txt（[说法核查：llms.txt 能提升 AI 搜索可见度](https://geo.casa/zh-cn/tools-protocols/llms-txt/)）。

## 怎么判断有没有效果

- 每类关键模板的检查全部通过，并记录日期（[AI 搜索可访问性检查](https://geo.casa/zh-cn/playbooks/ai-search-access-audit/)）。
- 每个已放行的搜索类标识都有已验证访问，且稳定或上升。
- 页面出现在 Search Console 的生成式 AI 报告（[Search Console 中的 AI 概览与 AI 模式数据](https://geo.casa/zh-cn/measurement/search-console-ai-features/)）和 Bing 的 AI Performance 报告中。

> **官方文档已说明:**
> 微软：「AI Performance 不衡量排名、权威、表现或重要性，只显示哪些内容被引用。」
>
> 参考来源: [Microsoft Bing: AI Performance report (Bing Webmaster Tools help)](https://www.bing.com/webmasters/help/ai-performance-9f8e7d6c)

- 固定问题集里的引用占比，按趋势汇报（[用提示词抽样测量 AI 可见度](https://geo.casa/zh-cn/measurement/ai-visibility-measurement/)、[写给市场负责人：怎么衡量 GEO、向老板汇报什么](https://geo.casa/zh-cn/best-practices/measure-report/)）。

## 证据一览

| 建议 | 证据 |
|---|---|
| 已索引且可展示摘要 | 官方（Google） |
| 按用途和标识设置 robots.txt | 官方（OpenAI、Anthropic、Google）；常见错误为实践观察（DATA17，2026） |
| CDN 和 WAF 放行搜索类爬虫 | 官方（Google、Cloudflare） |
| 无意外摘要限制或 AI 排除 | 官方（Google） |
| 正文服务端渲染 | 官方（Google）+ 实践观察（Vercel/MERJ，2024） |
| 用 DNS 或 IP 列表验证爬虫 | 官方（Google、OpenAI、百度、360、头条） |
| 自动化回归测试 | 推测（本站推荐做法） |

## 参考来源

- [Google Search Central: AI features and your website](https://developers.google.com/search/docs/appearance/ai-features)
- [OpenAI: Overview of OpenAI crawlers](https://developers.openai.com/api/docs/bots)
- [Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?](https://support.claude.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler)
- DATA17 AI Research Lab · 解数智能: 你的公司还在 AI 的答案里吗：企业 GEO 行动指南 · 2026 (未公开报告，没有公开链接，读者无法自行核对)
- [Cloudflare: Block AI Bots](https://developers.cloudflare.com/bots/additional-configurations/block-ai-bots/)
- [Google Search Central: Robots meta tag, data-nosnippet, and X-Robots-Tag specifications](https://developers.google.com/search/docs/crawling-indexing/robots-meta-tag)
- [Google Search Console Help: Search generative AI control - Search Console Help](https://support.google.com/webmasters/answer/16908024)
- [Google Search Central: Understand JavaScript SEO basics](https://developers.google.com/search/docs/crawling-indexing/javascript/javascript-seo-basics)
- [Vercel & MERJ: The rise of the AI crawler (17 Dec 2024)](https://vercel.com/blog/the-rise-of-the-ai-crawler)
- [Google: Verify requests from Google crawlers and fetchers](https://developers.google.com/crawling/docs/crawlers-fetchers/verify-google-requests)
- [Baidu: FAQs of Baiduspider](https://help.baidu.com/question?prod_id=99&class=0&id=3001)
- [360 Search: 360蜘蛛IP](https://www.so.com/help/spider_ip.html)
- [Toutiao Search: 头条搜索spider介绍](https://www.toutiao.com/i6759451726496940557/)
- [Microsoft Bing: AI Performance report (Bing Webmaster Tools help)](https://www.bing.com/webmasters/help/ai-performance-9f8e7d6c)