Search Console のクロール頻度制限ツールのサポート終了予定
2023 年 11 月 24 日(金曜日)
Search Console のクロール頻度制限ツールは、2024 年 1 月 8 日をもってサポートを終了します。このツールは 10 年以上にわたって利用されてきましたが、Google のクロール ロジックや、パブリッシャーが利用できるその他のツールが改善されたため、サポートする意味が薄れてきました。
Googlebot は、サイト(具体的に言うとサイトを処理しているサーバー)が Googlebot の HTTP リクエストにどのように応答するかによってクロールの頻度を変えます。たとえば、サーバーがさまざまな URL に対して HTTP 500
ステータス コードを継続的に返す場合、Googlebot はほとんどすぐに自動でクロール頻度を下げます。同様に、リクエストに対する応答時間が大幅に長くなった場合も、自動的にクロール頻度を下げます。サイトが自ら管理できないような異常に大量のクロールが発生した場合は、こちらのヘルプ記事をご覧ください。
一方、クロール頻度制限ツールは効果が現れるまでかなり時間がかかっていました。実際、新しい制限がクロールに適用されるまで 1 日以上かかったケースもあります。しかし、幸いなことに、サイト所有者がこのツールを使用する必要に迫られたケースはほとんどなく、使用したことがあるサイト所有者は、多くの場合、クロール頻度を必要最低限なレベルに設定していました。また、Google では、クロール頻度制限ツールのサポート終了に伴い、最低クロール頻度を以前のクロール頻度制限と同等の低い頻度に設定します。つまり、検索インタレストが低く、クローラーがサイトの帯域幅を浪費しない場合、実質的には一部のサイト所有者が過去に行った設定を引き継ぐことになります。
クロール頻度の自動調整処理が進歩したため、ユーザーの操作をシンプルにするという理念に基づき、Google は Search Console のクロール頻度制限ツールのサポートを終了します。Googlebot レポート フォームは、Googlebot の異常なアクティビティの報告と緊急のケースに備えて今後も残しますが、ドキュメントで詳しく説明しているように、クロール頻度を下げるには、サーバー応答を通じて Googlebot に指示する方法が最も簡単であることを覚えておいてください。
ご質問やご意見がございましたら、Google 検索セントラル コミュニティに投稿してお知らせください。
Posted by Gary Illyes and Nir Kalush
特に記載のない限り、このページのコンテンツはクリエイティブ・コモンズの表示 4.0 ライセンスにより使用許諾されます。コードサンプルは Apache 2.0 ライセンスにより使用許諾されます。詳しくは、Google Developers サイトのポリシーをご覧ください。Java は Oracle および関連会社の登録商標です。
[null,null,[],[[["The crawl rate limiter tool in Google Search Console will be deprecated on January 8, 2024, due to advancements in Google's crawling technology."],["Googlebot automatically adjusts its crawl rate based on website and server responses, like HTTP errors or slow response times."],["For persistent crawling issues, refer to the provided help article for guidance on reducing Googlebot's crawl rate."],["Site owners experiencing unusually high crawl rates are encouraged to use the Googlebot report form for assistance."],["While the crawl rate limiter is being removed, Google will still honor previously set limits for sites with low search interest."]]],["The Search Console's crawl rate limiter tool will be removed on January 8th, 2024. Googlebot now automatically adjusts crawling speed based on server responses, slowing down with HTTP `500` errors or increased response times. The tool's impact was slow, and it was rarely used. The minimum crawl speed will be reduced to match previous limits. While the tool is deprecated, reporting unusual Googlebot activity remains available via a report form, but the fastest way to adjust crawl rate is through server responses.\n"]]