2023 年 11 月 24 日（金曜日）
Search Console のクロール頻度制限ツールは、2024 年 1 月 8 日をもってサポートを終了します。このツールは 10 年以上にわたって利用されてきましたが、Google のクロール ロジックや、パブリッシャーが利用できるその他のツールが改善されたため、サポートする意味が薄れてきました。
Googlebot は、サイト（具体的に言うとサイトを処理しているサーバー）が Googlebot の HTTP リクエストにどのように応答するかによってクロールの頻度を変えます。たとえば、サーバーがさまざまな URL に対して HTTP 500 ステータス コードを継続的に返す場合、Googlebot はほとんどすぐに自動でクロール頻度を下げます。同様に、リクエストに対する応答時間が大幅に長くなった場合も、自動的にクロール頻度を下げます。サイトが自ら管理できないような異常に大量のクロールが発生した場合は、こちらのヘルプ記事をご覧ください。
一方、クロール頻度制限ツールは効果が現れるまでかなり時間がかかっていました。実際、新しい制限がクロールに適用されるまで 1 日以上かかったケースもあります。しかし、幸いなことに、サイト所有者がこのツールを使用する必要に迫られたケースはほとんどなく、使用したことがあるサイト所有者は、多くの場合、クロール頻度を必要最低限なレベルに設定していました。また、Google では、クロール頻度制限ツールのサポート終了に伴い、最低クロール頻度を以前のクロール頻度制限と同等の低い頻度に設定します。つまり、検索インタレストが低く、クローラーがサイトの帯域幅を浪費しない場合、実質的には一部のサイト所有者が過去に行った設定を引き継ぐことになります。
クロール頻度の自動調整処理が進歩したため、ユーザーの操作をシンプルにするという理念に基づき、Google は Search Console のクロール頻度制限ツールのサポートを終了します。Googlebot レポート フォームは、Googlebot の異常なアクティビティの報告と緊急のケースに備えて今後も残しますが、ドキュメントで詳しく説明しているように、クロール頻度を下げるには、サーバー応答を通じて Googlebot に指示する方法が最も簡単であることを覚えておいてください。
ご質問やご意見がございましたら、Google 検索セントラル コミュニティに投稿してお知らせください。