Liste der gewöhnlichen Crawler von Google

Die gewöhnlichen Crawler von Google werden verwendet, um Informationen zum Erstellen von Google-Suchindexen zu finden, andere produktspezifische Crawlings durchzuführen und Analysen vorzunehmen. Sie gehorchen immer robots.txt-Regeln beim automatischen Crawling. Die allgemeine technische Eigenschaften der Google-Crawler gelten auch für die gewöhnlichen Crawler.

Die gewöhnlichen Crawler crawlen in der Regel von den IP-Bereichen in den googlebot.json-Objekt und die umgekehrte DNS-Maske ihres Hostnamens stimmt mit crawl-***-***-***-***.googlebot.com überein oder geo-crawl-***-***-***-***.geo.googlebot.com.

Die folgende Liste enthält die gewöhnlichen Crawler, ihre User-Agent-Strings, wie sie in den HTTP-Anfragen erscheinen, ihre User-Agent-Tokens für die Zeile User-agent: in robots.txt und die Produkte, die von den Crawling-Einstellungen für den Crawler betroffen sind. Wie du in der Tabelle siehst, haben manche Crawler mehrere User-Agent-Tokens. Damit eine Regel angewendet wird, muss jedoch nur ein Crawler-Token übereinstimmen. Die Liste ist nicht vollständig. Sie umfasst nur die Anfragesteller, die mit höherer Wahrscheinlichkeit in Protokolldateien vorkommen und zu denen wir Fragen erhalten haben.

User-Agent in HTTP-Anfragen
Googlebot (Smartphone) 
Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
Googlebot (Computer) 
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Chrome/W.X.Y.Z Safari/537.36

Selten:

  • Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
  • Googlebot/2.1 (+http://www.google.com/bot.html)
robots.txt
User-Agent-Token in robots.txt Googlebot
Beispiel für eine robots.txt-Gruppe 
user-agent: Googlebot
allow: /archive/1Q84
disallow: /archive
Betroffene Produkte: Crawling-Einstellungen, die an den User-Agent Googlebot gerichtet sind, wirken sich auf die Google Suche (einschließlich Discover und aller Funktionen der Google Suche) sowie auf andere Produkte wie Google Bilder, Google Video, Google News und Discover aus.
User-Agent in HTTP-Anfragen 
Googlebot-Image/1.0
robots.txt
User-Agent-Token in robots.txt Googlebot-Image
Googlebot
Beispiel für eine robots.txt-Gruppe 
user-agent: Googlebot-Image
allow: /archive/1Q84
disallow: /archive/moons.jpg
Betroffene Produkte: Crawling-Einstellungen, die an den User-Agent Googlebot-Image gerichtet sind, wirken sich auf Google Bilder, Discover, Google Video und alle Funktionen in der Google Suche aus, in denen Bilder, Logos und Favicons präsentiert werden.
User-Agent in HTTP-Anfragen 
Googlebot-Video/1.0
robots.txt
User-Agent-Token in robots.txt Googlebot-Video
Googlebot
Beispiel für eine robots.txt-Gruppe 
user-agent: Googlebot-Video
allow: /archive/1Q84
disallow: /archive/
Betroffene Produkte: Crawling-Einstellungen, die an den User-Agent Googlebot-Video gerichtet sind, wirken sich auf videobezogene Funktionen der Google Suche und andere Produkte aus, die von Videos abhängen.
User-Agent in HTTP-Anfragen Der Googlebot-News hat keinen separaten User-Agent-String für die HTTP-Anfrage. Crawling wird durchgeführt mit verschiedenen Googlebot-User-Agent-Strings.
robots.txt
User-Agent-Token in robots.txt Googlebot-News
Googlebot
Beispiel für eine robots.txt-Gruppe 
user-agent: Googlebot-News
allow: /archive/1Q84
disallow: /archive/
Betroffene Produkte: Die Crawling-Einstellungen, die an den User-Agent Googlebot-News gerichtet sind, haben Auswirkungen auf allen Oberflächen von Google News (z. B. der Tab „News“ in der Google Suche und Google News-App).
User-Agent in HTTP-Anfragen
Computer-Agent: 
Mozilla/5.0 (X11; Linux x86_64; Storebot-Google/1.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Safari/537.36
Mobilgeräte-Agent: 
Mozilla/5.0 (Linux; Android 8.0; Pixel 2 Build/OPD3.170816.012; Storebot-Google/1.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36
robots.txt
User-Agent-Token in robots.txt Storebot-Google
Beispiel für eine robots.txt-Gruppe 
user-agent: Storebot-Google
allow: /archive/1Q84
disallow: /archive/konbini
Betroffene Produkte: Die Crawling-Einstellungen, die an den User-Agent Storebot-Google gerichtet sind, haben Auswirkungen auf allen Plattformen von Google Shopping, z. B. dem Shopping-Tab in der Google Suche und Google Shopping.
User-Agent in HTTP-Anfragen
Computer-Agent: 
Mozilla/5.0 (compatible; Google-InspectionTool/1.0;)
Mobilgeräte-Agent: 
Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; Google-InspectionTool/1.0;)
robots.txt
User-Agent-Token in robots.txt Google-InspectionTool
Googlebot
Beispiel für eine robots.txt-Gruppe 
user-agent: Google-InspectionTool
allow: /archive/1Q84
disallow: /archive/
Betroffene Produkte: Die Crawling-Einstellungen, die an den User-Agent Google-InspectionTool gerichtet sind, haben Auswirkungen auf Such-Testtools wie die Test für Rich-Suchergebnisse und URL-Prüfung in der Search Console. Sie haben keine Auswirkungen auf die Google Suche oder andere Produkte.
User-Agent in HTTP-Anfragen 
Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; GoogleOther)
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; GoogleOther) Chrome/W.X.Y.Z Safari/537.36
robots.txt
User-Agent-Token in robots.txt GoogleOther
Beispiel für eine robots.txt-Gruppe 
user-agent: GoogleOther
allow: /archive/1Q84
disallow: /archive/
Betroffene Produkte: Crawling-Einstellungen, die an den User-Agent GoogleOther gerichtet sind, haben keine Auswirkungen auf einem bestimmten Produkt. GoogleOther ist der allgemeine Crawler, der von verschiedenen Produktteams zum Abrufen von öffentlich zugänglichen Inhalten von Websites verwendet werden kann. Er kann beispielsweise für einmaliges Crawling für die interne Forschung und Entwicklung verwendet werden. Er hat keine Auswirkungen auf Google Suche oder andere Produkte.
User-Agent in HTTP-Anfragen 
GoogleOther-Image/1.0
robots.txt
User-Agent-Token in robots.txt GoogleOther-Image
GoogleOther
Beispiel für eine robots.txt-Gruppe 
user-agent: GoogleOther-Image
allow: /archive/1Q84
disallow: /archive/moon.jpg
Betroffene Produkte: Crawling-Einstellungen, die an den User-Agent GoogleOther-Image gerichtet sind, wirken sich nicht auf ein bestimmtes Produkt aus, ähnlich wie bei GoogleOther. GoogleOther-Image ist die Version von GoogleOther, die für das Abrufen öffentlich zugänglicher Bild-URLs optimiert ist.
User-Agent in HTTP-Anfragen 
GoogleOther-Video/1.0
robots.txt
User-Agent-Token in robots.txt GoogleOther-Video
GoogleOther
Beispiel für eine robots.txt-Gruppe 
user-agent: GoogleOther-Video
allow: /archive/1Q84
disallow: /archive
Betroffene Produkte: Crawling-Einstellungen, die an den User-Agent GoogleOther-Video gerichtet sind, wirken sich nicht auf ein bestimmtes Produkt aus, ähnlich wie bei GoogleOther. GoogleOther-Video ist die Version von GoogleOther, die für das Abrufen öffentlich zugänglicher Video-URLs optimiert ist.
User-Agent-Substring in HTTP-Anfragen 
Google-CloudVertexBot
robots.txt
User-Agent-Token in robots.txt Google-CloudVertexBot
Googlebot
Beispiel für eine robots.txt-Gruppe 
user-agent: Google-CloudVertexBot
allow: /archive/1Q84
disallow: /archive/
Betroffene Produkte: Crawling-Einstellungen, die an den User-Agent Google-CloudVertexBot adressiert sind, haben Auswirkungen auf die von den Website-Inhabern angeforderten Crawlings für die Erstellung von Vertex AI-Agents. Er hat keine Auswirkungen auf die Google Suche oder andere Produkte.
User-Agent in HTTP-Anfragen Google-Extended hat keinen separaten User-Agent-String für HTTP-Anfragen. Das Crawling erfolgt mit vorhandenen User-Agent-Strings von Google. Das robots.txt-User-Agent-Token wird zur Kontrolle verwendet.
robots.txt
User-Agent-Token in robots.txt Google-Extended
Beispiel für eine robots.txt-Gruppe 
user-agent: Google-Extended
allow: /archive/1Q84
disallow: /archive/
Betroffene Produkte: Google-Extended ist ein eigenständiges Produkt-Token, mit dem Web-Publisher steuern können, ob ihre Websites zur Verbesserung der Gemini-Apps und Vertex AI APIs für Generative KI beitragen, einschließlich zukünftiger Modelle, die für diese Produkte genutzt werden. Bei der Fundierung mit der Google Suche in Vertex AI werden keine Webseiten für die Fundierung verwendet, für die Google-Extended deaktiviert wurde. Google-Extended hat keinen Einfluss auf die Aufnahme oder das Ranking einer Website in der Google Suche.

Hinweis zu Chrome/W.X.Y.Z in User-Agents

Der String Chrome/W.X.Y.Z in den User-Agent-Strings in der Liste ist ein Platzhalter für die vom jeweiligen User-Agent verwendete Version des Chrome-Browsers, z. B. 41.0.2272.96. Diese Versionsnummer wird im Laufe der Zeit hochgezählt, weil sie jeweils der neuesten vom Googlebot verwendeten Chromium-Release-Version entspricht.

Wenn du in deinen Protokollen oder auf deinem Server nach einem User-Agent mit diesem Muster suchst, solltest du für die Versionsnummer am besten einen Platzhalter verwenden.