Lista robotów specjalnych Google

Roboty specjalne są używane w konkretnych usługach Google, w przypadku których występuje zgodność indeksowanej witryny i usługi co do procesu indeksowania. Na przykład AdsBot ignoruje globalnego klienta użytkownika w pliku robots.txt (*) za zgodą wydawcy reklamy. Ogólne właściwości techniczne robotów Google dotyczą też robotów specjalnych.

Roboty specjalne mogą ignorować reguły zawarte w pliku robots.txt, dlatego działają w innym zakresie adresów IP niż typowe roboty. Zakresy adresów IP są publikowane w obiekcie special-crawlers.json. Odwrotne maskowanie DNS robotów specjalnych jest zgodne z rate-limited-proxy-***-***-***-***.google.com.

Poniższa lista zawiera roboty specjalne, ich ciągi znaków klienta użytkownika w żądaniach HTTP, tokeny klienta użytkownika w wierszu User-agent: w pliku robots.txt oraz usługi, na które mają wpływ preferencje indeksowania robota. Lista nie jest wyczerpująca. Obejmuje tylko zgłaszających, którzy mają większe szanse pojawiania się w plikach dziennika i których dotyczyły pytania, które do nas dotarły.

Klient użytkownika w żądaniach HTTP 
APIs-Google (+https://developers.google.com/webmasters/APIs-Google.html)
robots.txt
Token klienta użytkownika w pliku robots.txt

APIs-Google

Globalny klient użytkownika (*) jest ignorowany.
Przykładowa grupa pliku robots.txt 
user-agent: APIs-Google
allow: /archive/1Q84
disallow: /archive/
Usługi, na które ma to wpływ Ustawienia indeksowania kierowane do klienta użytkownika APIs-Google wpływają na dostarczanie komunikatów z powiadomieniami push przez interfejsy API Google.
Klient użytkownika w żądaniach HTTP 
Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; AdsBot-Google-Mobile; +http://www.google.com/mobile/adsbot.html)
robots.txt
Token klienta użytkownika w pliku robots.txt

AdsBot-Google-Mobile

Globalny klient użytkownika (*) jest ignorowany.
Przykładowa grupa pliku robots.txt 
user-agent: AdsBot-Google-Mobile
allow: /archive/1Q84
disallow: /archive/
Usługi, na które ma to wpływ Ustawienia indeksowania kierowane do klienta użytkownika AdsBot-Google-Mobile mają wpływ na możliwość sprawdzania przez Google Ads jakości reklam na stronach internetowych.
Klient użytkownika w żądaniach HTTP 
AdsBot-Google (+http://www.google.com/adsbot.html)
robots.txt
Token klienta użytkownika w pliku robots.txt

AdsBot-Google

Globalny klient użytkownika (*) jest ignorowany.
Przykładowa grupa pliku robots.txt 
user-agent: AdsBot-Google
allow: /archive/1Q84
disallow: /archive/
Usługi, na które ma to wpływ Ustawienia indeksowania kierowane do klienta użytkownika AdsBot-Google wpływają na możliwość sprawdzania przez Google Ads jakości reklam na stronach internetowych.
Klient użytkownika w żądaniach HTTP
Klient na komputerze 
Mediapartners-Google
Klient na urządzeniu mobilnym 
(Various mobile device types) (compatible; Mediapartners-Google/2.1; +http://www.google.com/bot.html)
robots.txt
Token klienta użytkownika w pliku robots.txt Mediapartners-Google

Globalny klient użytkownika (*) jest ignorowany.
Przykładowa grupa pliku robots.txt 
user-agent: Mediapartners-Google
allow: /archive/1Q84
disallow: /archive/
Usługi, na które ma to wpływ Ustawienia indeksowania kierowane do klienta użytkownika Mediapartners-Google mają wpływ na Google AdSense. Robot indeksujący AdSense odwiedza witryny uczestniczące w programie, aby wyświetlać w nich trafne reklamy.
Klient użytkownika w żądaniach HTTP 
Google-Safety
robots.txt Klient użytkownika Google-Safety ignoruje reguły w pliku robots.txt.
Usługi, na które ma to wpływ Klient użytkownika Google-Safety obsługuje indeksowanie związane z nadużyciami, np. wykrywanie złośliwego oprogramowania pod kątem publicznie opublikowanych linków w usługach Google. W związku z tym nie jest on zależny od preferencji indeksowania.

Wycofane roboty specjalne

Poniższe roboty specjalne nie są już używane. Są one wymienione tutaj tylko jako dane historyczne.

Klient użytkownika w żądaniach HTTP 
Mozilla/5.0 (iPhone; CPU iPhone OS 14_7_1 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/14.1.2 Mobile/15E148 Safari/604.1 (compatible; AdsBot-Google-Mobile; +http://www.google.com/mobile/adsbot.html)
robots.txt
Token klienta użytkownika w pliku robots.txt AdsBot-Google-Mobile

Globalny klient użytkownika (*) jest ignorowany.
Usługi, na które ma to wpływ Ustawienia indeksowania kierowane do klienta użytkownika AdsBot-Google-Mobile wpłynęły na możliwość sprawdzania przez Google Ads jakości reklam na stronie internetowej na iPhonie.
Klient użytkownika w żądaniach HTTP 
Mozilla/5.0 (Linux; Android 11; Pixel 2; DuplexWeb-Google/1.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.193 Mobile Safari/537.36
robots.txt
Token klienta użytkownika w pliku robots.txt DuplexWeb-Google

Duplex on the web może ignorować symbol wieloznaczny *.
Usługi, na które ma to wpływ Obsługiwał usługę Duplex on the web.
Klient użytkownika w żądaniach HTTP 
Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.75 Safari/537.36 Google Favicon
robots.txt
Token klienta użytkownika w pliku robots.txt Googlebot-Image
Googlebot
Klient użytkownika w żądaniach HTTP 
AdsBot-Google-Mobile-Apps
robots.txt
Token klienta użytkownika w pliku robots.txt AdsBot-Google-Mobile-Apps

Klient użytkownika AdsBot-Google-Mobile-Apps przestrzegał reguł pliku robots AdsBot-Google, ale ignorował globalnego klienta użytkownika (*).
Usługi, na które ma to wpływ Ustawienia indeksowania kierowane do klienta użytkownika AdsBot-Google-Mobile-Apps mają wpływ na możliwość sprawdzania przez Google Ads jakości reklam na stronie aplikacji na Androida.
Klient użytkownika w żądaniach HTTP 
Mozilla/5.0 (Linux; Android 4.2.1; en-us; Nexus 5 Build/JOP40D) AppleWebKit/535.19 (KHTML, like Gecko; googleweblight) Chrome/38.0.1025.166 Mobile Safari/535.19
robots.txt
Token klienta użytkownika w pliku robots.txt googleweblight

Klient użytkownika googleweblight był używany tylko do jednoznacznych żądań przeglądania pochodzących od użytkownika i ignorował reguły w pliku robots.txt służące do blokowania zautomatyzowanych żądań indeksowania.
Usługi, na które ma to wpływ Za każdym razem, gdy użytkownik kliknął Twoją stronę w wyszukiwarce przy odpowiednich warunkach, klient użytkownika Web Light sprawdzał, czy na stronie nie ma nagłówka no-transform.