Google の一般的なクローラーの一覧

Google の一般的なクローラーは、Google の検索インデックスの作成、他のサービス固有のクロールの実施、分析に必要な情報を見つけるために使われます。自動的にクロールする際、クローラーは常に robots.txt ルールに従います。Google クローラーの一般的な技術的特性は、一般的なクローラーにも適用されます。

一般的なクローラーは通常 googlebot.json オブジェクトで公開されている IP 範囲をクロールし、ホスト名のリバース DNS マスクは crawl-***-***-***-***.googlebot.com または geo-crawl-***-***-***-***.geo.googlebot.com と一致します。

次のリストには、一般的なクローラー、HTTP リクエストに表示されるユーザー エージェント文字列、robots.txt の User-agent: 行のユーザー エージェント トークン、そしてそのクローラーのクロール設定によって影響を受けるプロダクトが示されています。複数のユーザー エージェント トークンを持つクローラーもありますが、適用するルールで指定できるクローラー トークンは 1 つのみです。このリストはすべてを網羅しているわけではなく、ログファイルに表示される可能性が高く、質問を受けているリクエスト送信者のみを記載しています。

HTTP リクエストの User-Agent
スマートフォン用 Googlebot 
Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
パソコン用 Googlebot 
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Chrome/W.X.Y.Z Safari/537.36

まれに以下の場合もあり:

  • Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
  • Googlebot/2.1 (+http://www.google.com/bot.html)
robots.txt
robots.txt のユーザー エージェント トークン Googlebot
robots.txt グループの例 
user-agent: Googlebot
allow: /archive/1Q84
disallow: /archive
影響を受ける製品 Googlebot ユーザー エージェントに対するクロール設定は、Google 検索（Discover やすべての Google 検索機能を含む）だけでなく、Google 画像検索、Google Video、Google ニュース、Discover などの他のサービスにも影響します。
HTTP リクエストのユーザー エージェント 
Googlebot-Image/1.0
robots.txt
robots.txt のユーザー エージェント トークン Googlebot-Image
Googlebot
robots.txt グループの例 
user-agent: Googlebot-Image
allow: /archive/1Q84
disallow: /archive/moons.jpg
影響を受ける製品 Googlebot-Image ユーザー エージェントに対するクロール設定は、Google 画像検索、Discover、Google Video、そして画像、ロゴ、ファビコンが表示される Google 検索のすべての機能に影響します。
HTTP リクエストのユーザー エージェント 
Googlebot-Video/1.0
robots.txt
robots.txt のユーザー エージェント トークン Googlebot-Video
Googlebot
robots.txt グループの例 
user-agent: Googlebot-Video
allow: /archive/1Q84
disallow: /archive/
影響を受ける製品 Googlebot-Video ユーザー エージェントに対するクロール設定は、動画関連の Google 検索機能や、動画に依存するその他のサービスに影響します。
HTTP リクエストのユーザー エージェント Googlebot-News には、個別の HTTP リクエスト ユーザー エージェント文字列はありません。クロールはさまざまな Googlebot ユーザー エージェント文字列を使用して行われます。
robots.txt
robots.txt のユーザー エージェント トークン Googlebot-News
Googlebot
robots.txt グループの例 
user-agent: Googlebot-News
allow: /archive/1Q84
disallow: /archive/
影響を受ける製品 Googlebot-News ユーザー エージェントに対するクロール設定は、Google ニュースのすべてのサーフェス（Google 検索の [ニュース] タブや Google ニュース アプリなど）に影響します。
HTTP リクエストのユーザー エージェント
デスクトップ エージェント 
Mozilla/5.0 (X11; Linux x86_64; Storebot-Google/1.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Safari/537.36
モバイル エージェント 
Mozilla/5.0 (Linux; Android 8.0; Pixel 2 Build/OPD3.170816.012; Storebot-Google/1.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36
robots.txt
robots.txt のユーザー エージェント トークン Storebot-Google
robots.txt グループの例 
user-agent: Storebot-Google
allow: /archive/1Q84
disallow: /archive/konbini
影響を受ける製品 Storebot-Google ユーザー エージェントに対するクロール設定は、Google ショッピングのすべてのサーフェス（Google 検索の [ショッピング] タブや Google ショッピングなど）に影響します。
HTTP リクエストのユーザー エージェント
デスクトップ エージェント 
Mozilla/5.0 (compatible; Google-InspectionTool/1.0;)
モバイル エージェント 
Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; Google-InspectionTool/1.0;)
robots.txt
robots.txt のユーザー エージェント トークン Google-InspectionTool
Googlebot
robots.txt グループの例 
user-agent: Google-InspectionTool
allow: /archive/1Q84
disallow: /archive/
影響を受ける製品 Google-InspectionTool ユーザー エージェントに対するクロール設定は、Search Console のリッチリザルト テストや URL 検査などの検索テストツールに影響します。Google 検索やその他の製品には影響しません。
HTTP リクエストのユーザー エージェント 
Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; GoogleOther)
 
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; GoogleOther) Chrome/W.X.Y.Z Safari/537.36
robots.txt
robots.txt のユーザー エージェント トークン GoogleOther
robots.txt グループの例 
user-agent: GoogleOther
allow: /archive/1Q84
disallow: /archive/
影響を受ける製品 GoogleOther ユーザー エージェントに対するクロール設定は、特定の製品には影響しません。GoogleOther は汎用クローラーであり、一般公開されているコンテンツをサイトから取得するためにさまざまなプロダクト チームが使用できます。たとえば、内部の研究開発のために 1 回限りのクロールに使用されることがあります。Google 検索やその他の製品には影響しません。
HTTP リクエストのユーザー エージェント 
GoogleOther-Image/1.0
robots.txt
robots.txt のユーザー エージェント トークン GoogleOther-Image
GoogleOther
robots.txt グループの例 
user-agent: GoogleOther-Image
allow: /archive/1Q84
disallow: /archive/moon.jpg
影響を受ける製品 GoogleOther-Image ユーザー エージェントに対するクロール設定は、GoogleOther と同様、特定の製品には影響しません。GoogleOther-Image は GoogleOther の別バージョンで、一般公開されている画像 URL を取得するために最適化されています。
HTTP リクエストのユーザー エージェント 
GoogleOther-Video/1.0
robots.txt
robots.txt のユーザー エージェント トークン GoogleOther-Video
GoogleOther
robots.txt グループの例 
user-agent: GoogleOther-Video
allow: /archive/1Q84
disallow: /archive
影響を受ける製品 GoogleOther-Video ユーザー エージェントに対するクロール設定は、GoogleOther と同様、特定の製品には影響しません。GoogleOther-Video は、GoogleOther の別バージョンで、一般公開されている動画 URL を取得するために最適化されています。
HTTP リクエストのユーザー エージェント部分文字列 
Google-CloudVertexBot
robots.txt
robots.txt のユーザー エージェント トークン Google-CloudVertexBot
Googlebot
robots.txt グループの例 
user-agent: Google-CloudVertexBot
allow: /archive/1Q84
disallow: /archive/
影響を受ける製品 Google-CloudVertexBot ユーザー エージェントに対するクロール設定は、サイト所有者が Vertex AI エージェントを構築するために要求するクロールに影響します。Google 検索やその他の製品には影響しません。
HTTP リクエストのユーザー エージェント Google-Extended には、個別の HTTP リクエスト ユーザー エージェント文字列はありません。クロールは既存の Google ユーザー エージェント文字列を使用して行われます。robots.txt ユーザー エージェント トークンは制御機能で使用されます。
robots.txt
robots.txt のユーザー エージェント トークン Google-Extended
robots.txt グループの例 
user-agent: Google-Extended
allow: /archive/1Q84
disallow: /archive/
影響を受ける製品 Google-Extended はスタンドアロンのプロダクト トークンです。ウェブ パブリッシャーは、Gemini アプリと Vertex AI の生成 API（強化された将来世代のモデルを含む）の改善に自社のサイトを役立たせるかどうかを管理するためにこのトークンを使用できます。Google 検索でのサイトの登録と掲載順位に Google-Extended が影響することはありません。

ユーザー エージェントの Chrome/W.X.Y.Z に関する注意

表内でユーザー エージェント文字列に Chrome/W.X.Y.Z という文字列が表示されている場合、その W.X.Y.Z はプレースホルダであり、そのユーザー エージェントが使用する Chrome ブラウザのバージョンを表しています（例: 41.0.2272.96）。このバージョン番号は徐々に数字が大きくなり、Googlebot が使用する最新の Chromium リリース バージョンに一致します。

このパターンのユーザー エージェントをログで探す場合、またはこのパターンのユーザー エージェントでサーバーをフィルタする場合、バージョン番号そのままを指定するのではなく、バージョン番号のワイルドカードを使用します。