Lista typowych robotów Google

Typowe roboty Google znajdują informacje w celu tworzenia indeksów wyszukiwarki Google, wykonywania innych operacji indeksowania określonych usług oraz przeprowadzania analiz. Zawsze przestrzegają reguł w pliku robots.txt podczas automatycznego indeksowania. Ogólne właściwości techniczne robotów Google dotyczą też robotów typowych.

Typowe roboty indeksują zwykle treści z zakresów adresów IP opublikowanych w obiekcie googlebot.json, a maska odwrotnego wyszukiwania DNS ich nazwy hosta jest zgodna z wartością crawl-***-***-***-***.googlebot.com lub geo-crawl-***-***-***-***.geo.googlebot.com.

Poniższa lista zawiera typowe roboty, ich ciągi znaków klienta użytkownika w żądaniach HTTP, tokeny klienta użytkownika w wierszu User-agent: w pliku robots.txt oraz usługi, na które mają wpływ preferencje indeksowania robota. Niektóre roboty odpowiadają więcej niż jednemu tokenowi klienta użytkownika. Wystarczy, że użyjesz tylko jednego pasującego tokena robota, aby reguła została zastosowana. Lista nie jest wyczerpująca. Obejmuje tylko zgłaszających, którzy mają większe szanse pojawiania się w plikach dziennika i których dotyczyły pytania, które do nas dotarły.

User-Agent w żądaniach HTTP
Googlebot indeksujący strony na smartfony 
Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
Komputerowy Googlebot 
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Chrome/W.X.Y.Z Safari/537.36

Rzadko:

  • Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
  • Googlebot/2.1 (+http://www.google.com/bot.html)
robots.txt
Token klienta użytkownika w pliku robots.txt Googlebot
Przykładowa grupa pliku robots.txt 
user-agent: Googlebot
allow: /archive/1Q84
disallow: /archive
Usługi, na które ma to wpływ Ustawienia indeksowania kierowane do klienta użytkownika Googlebot mają wpływ na wyszukiwarkę Google (w tym karty Discover i wszystkie funkcje wyszukiwarki Google), a także inne usługi; takie jak Grafika Google, Google Video, Google News i Discover.
Klient użytkownika w żądaniach HTTP 
Googlebot-Image/1.0
robots.txt
Token klienta użytkownika w pliku robots.txt Googlebot-Image
Googlebot
Przykładowa grupa pliku robots.txt 
user-agent: Googlebot-Image
allow: /archive/1Q84
disallow: /archive/moons.jpg
Usługi, na które ma to wpływ Ustawienia indeksowania kierowane do klienta użytkownika Googlebot-Image mają wpływ na Grafikę Google, Discover, Google Video oraz wszystkie funkcje wyszukiwarki Google, w których wyświetlają się obrazy, np. logo i favikony.
Klient użytkownika w żądaniach HTTP 
Googlebot-Video/1.0
robots.txt
Token klienta użytkownika w pliku robots.txt Googlebot-Video
Googlebot
Przykładowa grupa pliku robots.txt 
user-agent: Googlebot-Video
allow: /archive/1Q84
disallow: /archive/
Usługi, na które ma to wpływ Ustawienia indeksowania kierowane do klienta użytkownika Googlebot-Video wpływają na funkcje wyszukiwarki Google związane z filmami oraz inne usługi korzystające z filmów.
Klient użytkownika w żądaniach HTTP Googlebot-News nie ma osobnego ciągu znaków klienta użytkownika żądania HTTP. Indeksowanie odbywa się z użyciem różnych ciągów znaków klienta użytkownika Googlebota.
robots.txt
Token klienta użytkownika w pliku robots.txt Googlebot-News
Googlebot
Przykładowa grupa pliku robots.txt 
user-agent: Googlebot-News
allow: /archive/1Q84
disallow: /archive/
Usługi, na które ma to wpływ Ustawienia indeksowania kierowane do klienta użytkownika Googlebot-News mają wpływ na wszystkie platformy Google News (np. na kartę News w wyszukiwarce Google i w aplikacji Google News).
Klient użytkownika w żądaniach HTTP
Klient na komputerze 
Mozilla/5.0 (X11; Linux x86_64; Storebot-Google/1.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Safari/537.36
Klient na urządzeniu mobilnym 
Mozilla/5.0 (Linux; Android 8.0; Pixel 2 Build/OPD3.170816.012; Storebot-Google/1.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36
robots.txt
Token klienta użytkownika w pliku robots.txt Storebot-Google
Przykładowa grupa pliku robots.txt 
user-agent: Storebot-Google
allow: /archive/1Q84
disallow: /archive/konbini
Usługi, na które ma to wpływ Preferencje indeksowania kierowane do klienta użytkownika Storebot-Google wpływają na wszystkie miejsca Zakupów Google (np. kartę Zakupy w wyszukiwarce Google i Zakupy Google).
Klient użytkownika w żądaniach HTTP
Klient na komputerze 
Mozilla/5.0 (compatible; Google-InspectionTool/1.0;)
Klient na urządzeniu mobilnym 
Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; Google-InspectionTool/1.0;)
robots.txt
Token klienta użytkownika w pliku robots.txt Google-InspectionTool
Googlebot
Przykładowa grupa pliku robots.txt 
user-agent: Google-InspectionTool
allow: /archive/1Q84
disallow: /archive/
Usługi, na które ma to wpływ Ustawienia indeksowania kierowane do klienta użytkownika Storebot-Google wpływają na narzędzia do testowania wyszukiwarki, takie jak test wyników z elementami rozszerzonymi i narzędzie do sprawdzania adresów URL w Search Console. Nie ma to wpływu na wyszukiwarkę Google ani inne usługi.
Klient użytkownika w żądaniach HTTP 
Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; GoogleOther)
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; GoogleOther) Chrome/W.X.Y.Z Safari/537.36
robots.txt
Token klienta użytkownika w pliku robots.txt GoogleOther
Przykładowa grupa pliku robots.txt 
user-agent: GoogleOther
allow: /archive/1Q84
disallow: /archive/
Usługi, na które ma to wpływ Ustawienia indeksowania adresowane do klienta użytkownika GoogleOther nie mają wpływu na żadną konkretną usługę. Inna usługa Google to robot ogólny używany przez różne zespoły usług w celu pobierania treści dostępnych publicznie z witryn. Może na przykład służyć do jednorazowego indeksowania treści na potrzeby badań wewnętrznych i rozwoju. Nie ma to wpływu na wyszukiwarkę Google ani inne usługi.
Klient użytkownika w żądaniach HTTP 
GoogleOther-Image/1.0
robots.txt
Token klienta użytkownika w pliku robots.txt GoogleOther-Image
GoogleOther
Przykładowa grupa pliku robots.txt 
user-agent: GoogleOther-Image
allow: /archive/1Q84
disallow: /archive/moon.jpg
Usługi, na które ma to wpływ Ustawienia indeksowania kierowane do klienta użytkownika GoogleOther-Image nie wpływają na żadną konkretną usługę, podobnie jak GoogleOther. GoogleOther-Image to wersja robota GoogleOther zoptymalizowana pod kątem pobierania adresów URL dostępnych publicznie obrazów.
Klient użytkownika w żądaniach HTTP 
GoogleOther-Video/1.0
robots.txt
Token klienta użytkownika w pliku robots.txt GoogleOther-Video
GoogleOther
Przykładowa grupa pliku robots.txt 
user-agent: GoogleOther-Video
allow: /archive/1Q84
disallow: /archive
Usługi, na które ma to wpływ Ustawienia indeksowania kierowane do klienta użytkownika GoogleOther-Video nie wpływają na żadną konkretną usługę, podobnie jak GoogleOther. GoogleOther-Video to wersja robota GoogleOther zoptymalizowana pod kątem pobierania adresów URL dostępnych publicznie filmów.
Podłańcuch klienta użytkownika w żądaniach HTTP 
Google-CloudVertexBot
robots.txt
Token klienta użytkownika w pliku robots.txt Google-CloudVertexBot
Googlebot
Przykładowa grupa pliku robots.txt 
user-agent: Google-CloudVertexBot
allow: /archive/1Q84
disallow: /archive/
Usługi, na które ma to wpływ Ustawienia indeksowania kierowane do klienta użytkownika Google-CloudVertexBot mają wpływ na indeksowanie żądane przez właścicieli witryny na potrzeby tworzenia klientów Vertex AI. Nie ma to wpływu na wyszukiwarkę Google ani inne usługi.
Klient użytkownika w żądaniach HTTP Google-Extended nie ma osobnego ciągu znaków klienta użytkownika w żądaniu HTTP. Indeksowanie odbywa się z użyciem dotychczasowych ciągów znaków klientów użytkownika Google. Token klienta użytkownika robots.txt jest używany do celów kontrolnych.
robots.txt
Token klienta użytkownika w pliku robots.txt Google-Extended
Przykładowa grupa pliku robots.txt 
user-agent: Google-Extended
allow: /archive/1Q84
disallow: /archive/
Usługi, na które ma to wpływ Google-Extended to samodzielny token usługi, za pomocą którego wydawcy internetowi mogą określać, czy ich witryny pomagają ulepszać aplikacje Gemini i generatywne interfejsy API Vertex AI, w tym przyszłe generacje modeli, które będą obsługiwać te usługi. Google-Extended nie ma wpływu na uwzględnienie witryny w wyszukiwarce Google ani na jej pozycję w rankingu.

Uwaga dotycząca Chrome/W.X.Y.Z w klientach użytkownika

W każdym miejscu w tabeli, w którym pojawia się ciąg znaków Chrome/W.X.Y.Z, W.X.Y.Z jest w rzeczywistości symbolem zastępczym reprezentującym wersję przeglądarki Chrome używaną przez tego klienta użytkownika, na przykład 41.0.2272.96. Numer wersji zwiększa się wraz ze zmianami numeru najnowszych wersji Chromium używanych przez Googlebota.

Wyszukując dane w dziennikach lub filtrując serwer pod kątem klienta użytkownika z tym wzorcem, zamiast dokładnego numeru wersji lepiej będzie użyć symboli wieloznacznych.