Google のユーザー エージェントがウェブサイトとどのようにやり取りするかを把握することで、サーバーに過負荷をかけることなく、Google エコシステムのより多くの場所に最も重要なページを表示できるようになります。ご自身がサイトの所有者またはデベロッパーのいずれである場合についても、このドキュメントでは、サイトのクロール方法をより詳細に制御する方法について説明します。
詳細
サーバーにアクセスしているウェブクローラーまたはフェッチャーが、本当に Google（Googlebot など）によるものかどうかを確認できます。
使ってみる
Google のクローラーは、ウェブサイトとサーバーに合わせて自動的に調整され、最も優れた最新のコンテンツを効率的に見つけて表示します。サーバーとクロールに関する緊急事態に対処するため、必要に応じてクロール頻度を事前に低減することができます。
使ってみる
robots.txt ファイルを使用すると、個々のページまたはウェブサイト全体のクロールを許可または禁止できます。
使ってみる

クロール設定が Google でのサイトの表示に与える影響

Google のクロール インフラストラクチャは、さまざまな Google サービスで共有されています。つまり、ベスト プラクティスに従うことで、ウェブ コンテンツがより効率的に発見され、Google で取り上げられる可能性が高まります。
Google 検索では、Googlebot を使用してサイトをクロールし、ユーザーに関連性の高いコンテンツを見つけます。
Google-Extended は、Gemini アプリと Vertex AI API for Gemini で使用されます。Google-Extended について詳細をご覧ください。
Storebot-Google ユーザー エージェントに対するクロール設定は、Google ショッピングのすべてのサーフェスに影響します。
AdSense クローラーは、関連性の高い広告を配信するために参加サイトにアクセスします。
Googlebot-News ユーザー エージェントに対するクロール設定は、news.google.com や Google ニュースアプリなどの Google ニュース関連のプロダクトに影響します。
Google-NotebookLM フェッチャーは、NotebookLM ユーザーがプロジェクトのソースとして提供した個々の URL をリクエストします。