# 爬虫文档变更记录

> 本页记录 Google、OpenAI 和 IETF 官方爬虫文档的变更，由本站每周的来源检查发现。每条都说明我们引用的内容是实质改变了，还是只换了位置。

- URL: https://geo.casa/zh-cn/crawling-indexing/documentation-changes/
- 变更记录 · 实践观察
- 审核于: 2026-10-25

本记录收录本站条目所引用的爬虫文档的变更。变更由每周运行的 `npm run check:sources` 发现。每条在记录前都会重新阅读原文，以区分「页面换了位置」和「政策发生了变化」。

## 变更记录

### 2026-10-25: Google 的抓取预算和 HTTP 状态码指南迁到抓取文档站

实践观察. 抓取预算指南（原 search/docs/crawling-indexing/large-site-managing-crawl-budget）和 HTTP 状态码指南（原 search/docs/crawling-indexing/http-network-errors）现在位于 developers.google.com/crawling/docs/ 下，旧地址会重定向。已重新核对本站引用的事实，例如 100 万以上和 1 万以上页面的门槛，以及 4xx/5xx 的处理方式。

参考来源: [Google: Crawl budget management](https://developers.google.com/crawling/docs/crawl-budget); [Google: How HTTP status codes affect Google's crawlers](https://developers.google.com/crawling/docs/troubleshooting/http-status-codes)

### 2026-10-25: Google 爬虫验证指南迁到抓取文档站

实践观察. 「验证 Googlebot 及其他 Google 爬虫」从 developers.google.com/search/docs/crawling-indexing/verifying-googlebot 迁到 developers.google.com/crawling/docs/crawlers-fetchers/verify-google-requests，旧地址会重定向。已重新核对：验证方法仍是先做反向 DNS 查询（googlebot.com、google.com 或 googleusercontent.com），再做正向查询，或对照 Google 公布的 IP 列表；IP 列表现在按爬虫类别拆成了多个 JSON 文件。

参考来源: [Google: Verify requests from Google crawlers and fetchers](https://developers.google.com/crawling/docs/crawlers-fetchers/verify-google-requests)

### 2026-10-25: Google 的 robots.txt 规范迁到抓取文档站

实践观察. 「Google 如何解读 robots.txt 规范」从 developers.google.com/search/docs/… 迁到 developers.google.com/crawling/docs/robots-txt/robots-txt-spec，旧地址现在返回 404，不会重定向。已重新核对：500 KiB 的大小限制、冲突时采用限制最少的规则、不支持 crawl-delay，以及最多缓存 24 小时，均未改变。

参考来源: [Google: How Google interprets the robots.txt specification](https://developers.google.com/crawling/docs/robots-txt/robots-txt-spec)

### 2026-10-25: OpenAI 爬虫说明迁到 developers.openai.com

实践观察. OpenAI 爬虫概览从 platform.openai.com/docs/bots 迁到 developers.openai.com/api/docs/bots，旧地址会重定向。已重新核对：OAI-SearchBot 和 GPTBot 仍是相互独立的设置，robots.txt 修改后大约 24 小时在搜索中生效。

参考来源: [OpenAI: Overview of OpenAI crawlers](https://developers.openai.com/api/docs/bots)

### 2026-10-25: RFC 9309 短链接现在指向元数据页

实践观察. rfc-editor.org/rfc/rfc9309 现在重定向到信息页，而不是正文。规范本身没有变化；本站现在直接链接 HTML 正文。

参考来源: [IETF: RFC 9309: Robots Exclusion Protocol](https://www.rfc-editor.org/rfc/rfc9309.html)

### 2026-10-24: Google 爬虫列表位于抓取文档站

实践观察. Google 常规爬虫列表（包括 Google-Extended 标识）现在位于 developers.google.com/crawling/docs/crawlers-fetchers/google-common-crawlers；原 Search Central 路径会重定向到这里。

参考来源: [Google: Google's common crawlers](https://developers.google.com/crawling/docs/crawlers-fetchers/google-common-crawlers)


## 参考来源

- [Google: How Google interprets the robots.txt specification](https://developers.google.com/crawling/docs/robots-txt/robots-txt-spec)
- [OpenAI: Overview of OpenAI crawlers](https://developers.openai.com/api/docs/bots)
- [Google: Google's common crawlers](https://developers.google.com/crawling/docs/crawlers-fetchers/google-common-crawlers)
- [Google: Verify requests from Google crawlers and fetchers](https://developers.google.com/crawling/docs/crawlers-fetchers/verify-google-requests)
- [Google: Crawl budget management](https://developers.google.com/crawling/docs/crawl-budget)
- [Google: How HTTP status codes affect Google's crawlers](https://developers.google.com/crawling/docs/troubleshooting/http-status-codes)
- [IETF: RFC 9309: Robots Exclusion Protocol](https://www.rfc-editor.org/rfc/rfc9309.html)