减慢 Googlebot 的抓取速度

Google 会通过先进的算法确定最佳的网站抓取速度。我们的目标是，每次访问您的网站时都尽可能多地抓取网页，但不会过多地占用服务器的带宽。在某些情况下，Google 抓取您的网站可能会给您的基础架构带来沉重负载，或在服务中断期间产生不必要的费用。为了避免这种情况，您可以决定减少 Googlebot 发出的请求数量。

警告：减慢 Googlebot 的抓取速度将会产生广泛的影响，请谨慎考虑。此举的影响包括：Googlebot 发现的新网页数量会减少，现有网页的刷新频率会降低（例如，价格和商品库存状况可能需要更长时间才能体现在 Google 搜索中），被移除的网页保留在索引中的时间可能会更长。

如果您急需让抓取速度在短时间（如几个小时或 1-2 天）内减慢，则应向抓取请求返回 500、503 或 429 HTTP 响应状态代码（而非 200）。在遇到包含 500、503 或 429 HTTP 响应状态代码的大量网址时（例如，如果您停用了您的网站），Googlebot 会减慢对您网站的抓取速度。抓取速度减慢会影响您网站的整个主机名（例如 subdomain.example.com），同时影响对会返回错误的网址和会返回内容的网址的抓取。这些错误的数量减少后，抓取速度会自动重新开始提升。

请注意，抓取速度急剧提升可能是由于您网站的结构效率低下或网站存在其他问题。请参阅我们关于优化抓取效率的指南。

警告：我们不建议您长时间（即超过 1-2 天）这么做。因为如果 Googlebot 一连数天在同一网址上发现上述状态代码，可能会将该网址从 Google 索引中移除。

如果向 Googlebot 提供错误之举在您的基础架构上不可行，您可提交特殊请求来降低抓取速度。您不能请求提高抓取速度。