# 抓取与索引

> 搜索引擎与 AI 爬虫如何发现、抓取和索引页面：robots.txt、规范 URL、hreflang 与 Sitemap，均对照官方文档核实。

- URL: https://geo.casa/zh-cn/crawling-indexing/
- 专题
- 审核于: 2026-10-26

每一个引用网页的 AI 回答，都始于爬虫抓取页面、索引存储页面。对于 Google 的 AI 功能，有文档说明的页面级要求是已被编入索引且可展示摘要；网站也不能在 Search Console 中退出生成式 AI 功能（[Google AI 概览（AI Overviews）](https://geo.casa/zh-cn/ai-search/google-ai-overviews/)）。因此本栏目是整个知识库的基础。

## 学习路径

1. [robots.txt](https://geo.casa/zh-cn/crawling-indexing/robots-txt/)：爬虫可以抓取什么，以及为什么屏蔽抓取不等于取消索引。
2. [为 AI 爬虫配置 robots.txt](https://geo.casa/zh-cn/crawling-indexing/robots-txt-ai-crawlers/)：为 AI 搜索爬虫和 AI 训练爬虫分别做决定。
3. [规范网址（canonical）信号](https://geo.casa/zh-cn/crawling-indexing/canonical-signals/)：一组重复页面中由哪个 URL 作为代表。
4. [为多语言页面设置 hreflang](https://geo.casa/zh-cn/crawling-indexing/hreflang/)：把各语言版本关联起来，又不让它们被视为重复内容。
5. [XML 站点地图（Sitemap）](https://geo.casa/zh-cn/crawling-indexing/xml-sitemaps/)：帮助发现页面，以及 Google 会忽略 Sitemap 中的哪些内容。
6. [让页面不出现在 Google 中](https://geo.casa/zh-cn/crawling-indexing/keep-out-of-google/)：从搜索结果中移除页面，避开 robots.txt 的陷阱。
7. [AI 概览与 AI 模式的摘要控制](https://geo.casa/zh-cn/crawling-indexing/snippet-controls/)：限制 AI 概览和 AI 模式使用的内容，同时留在搜索中。
8. [Google-Extended](https://geo.casa/zh-cn/crawling-indexing/google-extended/)：退出 Gemini 训练，不影响搜索。
9. [抓取预算（Crawl budget）](https://geo.casa/zh-cn/crawling-indexing/crawl-budget/)：哪些网站需要考虑它（大多数不需要）。
10. [将网站迁移到新网址](https://geo.casa/zh-cn/crawling-indexing/site-moves/)：迁移到新网址或新域名，同时保住已有的积累。
11. [移动设备优先索引](https://geo.casa/zh-cn/crawling-indexing/mobile-first-indexing/)：Google 索引的是移动版，要保证它内容完整。
12. [说法核查：重复内容会让网站受到惩罚](https://geo.casa/zh-cn/crawling-indexing/duplicate-content-penalty/)：为什么重复网页会被过滤，而不是被惩罚。
13. [网址结构](https://geo.casa/zh-cn/crawling-indexing/url-structure/)：可抓取、易读的网址，以及会让网址数量倍增的参数。

## 参考来源

- [Google Search Central: Introduction to robots.txt](https://developers.google.com/search/docs/crawling-indexing/robots/intro)
- [Google Search Central: How to specify a canonical URL with rel="canonical" and other methods](https://developers.google.com/search/docs/crawling-indexing/consolidate-duplicate-urls)
- [Google Search Central: Tell Google about localized versions of your page](https://developers.google.com/search/docs/specialty/international/localized-versions)