2023 年 11 月 24 日,星期五
Search Console 中的抓取速度限制器工具将于 2024 年 1 月 8 日弃用。此工具已推出十多年,但随着我们对抓取逻辑以及面向发布商的其他工具的改进,此工具已不再实用。
Googlebot 会根据网站(更具体地说是处理网站的处理器)响应 Googlebot 的 HTTP 请求的方式做出回应。例如,如果服务器针对一系列网址持续返回 HTTP 500
状态代码,那么 Googlebot 就会自动执行,并且几乎会立即降低抓取速度。同样,如果请求的响应时间明显变长,Googlebot 也会自动降低速度。如果您确实遇到了抓取操作异常繁重,导致网站无法自行管理的情况,请参阅这篇帮助文章。
相比之下,使用速度限制器工具的效果要慢得多;实际上,可能需要超过一天的时间才会针对抓取操作应用新的限制。幸运的是,网站所有者很少必须使用该工具,如有必要使用,在很多情况下,使用者也都将抓取速度设为最低。 在弃用抓取限制器工具后,我们也会将最低抓取速度设为较低的速度,与先前的抓取速度限制相近。这意味着,如果搜索热度较低,我们会继续采用某些网站所有者过去设定的设置,抓取工具不会浪费网站的带宽。
自动抓取速度处理技术日益进步,而且我们一直致力于为用户提供简便的工具,因此我们将在 Search Console 中弃用此工具。我们会保留 Googlebot 报告表单,以便报告异常的 Googlebot 活动和紧急情况。但请注意,降低抓取速度的最快方法是通过服务器指示 Googlebot,详情请参阅文档。
如果您有任何疑问或意见,请在 Google 搜索中心社区中发帖咨询。