# 抓取预算（Crawl budget）

> 多数网站可以不管抓取预算。抓取预算由抓取容量上限和抓取需求决定。Google 的指南只面向超大或变化很快的网站（100 万以上页面且每周变化，或 1 万以上页面且每天变化）。其他网站保持 Sitemap 更新、定期查看网页索引编制报告即可。

- URL: https://geo.casa/zh-cn/crawling-indexing/crawl-budget/
- 参考 · 官方文档已说明
- 审核于: 2026-10-25

## 你需要在意吗？

> **官方文档已说明:**
> 「如果你的网站没有大量快速变化的页面，或者页面似乎在发布当天就被抓取，那么你不需要阅读这份指南。」对于 Google 搜索，保持 Sitemap 更新并定期查看网页索引编制报告就足够了。
>
> 参考来源: [Google: Crawl budget management](https://developers.google.com/crawling/docs/crawl-budget)

> **官方文档已说明:**
> 这份指南主要面向三类网站。一是内容变化较频繁（每周一次）的大型网站（100 万以上独立页面）。二是内容变化非常快（每天）的中型或更大网站（1 万以上独立页面）。三是有大量 URL 被报告为「已发现 - 尚未编入索引」的网站。
>
> 参考来源: [Google: Crawl budget management](https://developers.google.com/crawling/docs/crawl-budget)

## 由什么决定

> **官方文档已说明:**
> 「网站的抓取预算由两个主要因素决定：抓取容量上限和抓取需求。」容量上限也称 hostload，它限制服务器为 Google 连接花费的总时间，以免抓取压垮服务器。每个网站起初都使用相同的保守默认值。不同主机名（如 `www.example.com` 和 `code.example.com`）有各自独立的抓取预算。
>
> 参考来源: [Google: Crawl budget management](https://developers.google.com/crawling/docs/crawl-budget)

## 被抓取不等于被索引

> **官方文档已说明:**
> 「并非每个被抓取的页面都一定会被编入索引。」抓取之后，每个页面都要经过评估、合并，并判断是否适合编入索引。
>
> 参考来源: [Google: Crawl budget management](https://developers.google.com/crawling/docs/crawl-budget)

## 相关条目

- [HTTP 状态码与爬虫](https://geo.casa/zh-cn/implementation/http-status-crawlers/)：5xx 和 429 响应会让抓取放慢。
- [XML 站点地图（Sitemap）](https://geo.casa/zh-cn/crawling-indexing/xml-sitemaps/)：Google 对所有网站建议的最低做法。

## 参考来源

- [Google: Crawl budget management](https://developers.google.com/crawling/docs/crawl-budget)