Search Console 中的抓取速度限制器即将弃用
2023 年 11 月 24 日,星期五
Search Console 中的抓取速度限制器工具将于 2024 年 1 月 8 日弃用。此工具已推出十多年,但随着我们对抓取逻辑以及面向发布商的其他工具的改进,此工具已不再实用。
Googlebot 会根据网站(更具体地说是处理网站的处理器)响应 Googlebot 的 HTTP 请求的方式做出回应。例如,如果服务器针对一系列网址持续返回 HTTP 500
状态代码,那么 Googlebot 就会自动执行,并且几乎会立即降低抓取速度。同样,如果请求的响应时间明显变长,Googlebot 也会自动降低速度。如果您确实遇到了抓取操作异常繁重,导致网站无法自行管理的情况,请参阅这篇帮助文章。
相比之下,使用速度限制器工具的效果要慢得多;实际上,可能需要超过一天的时间才会针对抓取操作应用新的限制。幸运的是,网站所有者很少必须使用该工具,如有必要使用,在很多情况下,使用者也都将抓取速度设为最低。
在弃用抓取限制器工具后,我们也会将最低抓取速度设为较低的速度,与先前的抓取速度限制相近。这意味着,如果搜索热度较低,我们会继续采用某些网站所有者过去设定的设置,抓取工具不会浪费网站的带宽。
自动抓取速度处理技术日益进步,而且我们一直致力于为用户提供简便的工具,因此我们将在 Search Console 中弃用此工具。我们会保留 Googlebot 报告表单,以便报告异常的 Googlebot 活动和紧急情况。但请注意,降低抓取速度的最快方法是通过服务器指示 Googlebot,详情请参阅文档。
如果您有任何疑问或意见,请在 Google 搜索中心社区中发帖咨询。
发布者:Gary Illyes 和 Nir Kalush
如未另行说明,那么本页面中的内容已根据知识共享署名 4.0 许可获得了许可,并且代码示例已根据 Apache 2.0 许可获得了许可。有关详情,请参阅 Google 开发者网站政策。Java 是 Oracle 和/或其关联公司的注册商标。
[null,null,[],[[["The crawl rate limiter tool in Google Search Console will be deprecated on January 8, 2024, due to advancements in Google's crawling technology."],["Googlebot automatically adjusts its crawl rate based on website and server responses, like HTTP errors or slow response times."],["For persistent crawling issues, refer to the provided help article for guidance on reducing Googlebot's crawl rate."],["Site owners experiencing unusually high crawl rates are encouraged to use the Googlebot report form for assistance."],["While the crawl rate limiter is being removed, Google will still honor previously set limits for sites with low search interest."]]],["The Search Console's crawl rate limiter tool will be removed on January 8th, 2024. Googlebot now automatically adjusts crawling speed based on server responses, slowing down with HTTP `500` errors or increased response times. The tool's impact was slow, and it was rarely used. The minimum crawl speed will be reduced to match previous limits. While the tool is deprecated, reporting unusual Googlebot activity remains available via a report form, but the fastest way to adjust crawl rate is through server responses.\n"]]