Google では、高度なアルゴリズムでサイトに最適なクロール頻度を決定しています。サーバーの帯域幅に大きな負荷をかけることなく、1 回のアクセスでサイト内のページをできるだけ多くクロールすることを目標にしています。場合によっては、Google からのサイトのクロールにより、インフラストラクチャに重大な負荷がかかったり、サービス停止中に不要な費用が発生したりすることがあります。これを軽減するために、Googlebot からのリクエストの数を減らすことができます。
[null,null,["最終更新日 2025-02-18 UTC。"],[[["Google automatically adjusts crawl rate to avoid overloading your server, but you can reduce it further if needed."],["Temporarily reducing crawl rate can be achieved by returning 500, 503, or 429 HTTP response codes, but this impacts content freshness and discovery."],["For longer-term crawl rate reduction, file a special request with Google; however, increasing the rate isn't possible."],["Before reducing crawl rate, consider optimizing your website structure for better crawling efficiency as this might resolve the issue."],["Extended use of error codes to control crawling may lead to URLs being dropped from Google's index, so it's crucial to use this method cautiously."]]],["Google's crawlers may need to be slowed if they overload a site. Common causes for increased crawling include inefficient site structure, like faceted navigation. For urgent reductions, return `500`, `503`, or `429` HTTP status codes to crawler requests; this will lower the crawl rate, but can negatively affect site indexing if done for too long. Alternatively, if returning errors isn't viable, submit a special request specifying an optimal crawl rate. Note: reducing the crawl rate will result in slower updates of existing pages.\n"]]