Lista de rastreadores para casos especiales de Google

Los rastreadores para casos especiales los utilizan productos específicos de Google en los que existe un acuerdo entre el sitio rastreado y el producto en relación con el proceso de rastreo. Por ejemplo, AdsBot ignora el user-agent del archivo robots.txt global (*) con el permiso del editor del anuncio. Las propiedades técnicas generales de los rastreadores de Google también se aplican a los rastreadores para casos especiales.

Es posible que los rastreadores para casos especiales ignoren las reglas de robots.txt, por lo que operan desde un intervalo de IPs distinto al de los rastreadores habituales. Los intervalos de IPs se publican en el objeto special-crawlers.json. La máscara de DNS inversa de los rastreadores para casos especiales coincide con rate-limited-proxy-***-***-***-***.google.com.

En la siguiente lista se muestran los rastreadores para casos especiales, sus cadenas de user-agent tal como aparecen en las solicitudes HTTP, sus tokens de user-agent de la línea User-agent: en robots.txt y los productos que se ven afectados por las preferencias de rastreo del rastreador. La lista no es exhaustiva, solo cubre los solicitantes que tienen más probabilidades de aparecer en los archivos de registro y sobre los que hemos recibido preguntas.

User-agent en solicitudes HTTP 
APIs-Google (+https://developers.google.com/webmasters/APIs-Google.html)
robots.txt
Token de user-agent en robots.txt

APIs-Google

Se ignora el user-agent global (*).
Ejemplo de grupo de robots.txt 
user-agent: APIs-Google
allow: /archive/1Q84
disallow: /archive/
Productos afectados Las preferencias de rastreo dirigidas al user-agent APIs-Google afectan a la forma en que las APIs de Google envían mensajes de notificaciones push.
User-agent en solicitudes HTTP 
Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; AdsBot-Google-Mobile; +http://www.google.com/mobile/adsbot.html)
robots.txt
Token de user-agent en robots.txt

AdsBot-Google-Mobile

Se ignora el user-agent global (*).
Ejemplo de grupo de robots.txt 
user-agent: AdsBot-Google-Mobile
allow: /archive/1Q84
disallow: /archive/
Productos afectados Las preferencias de rastreo dirigidas al user-agent AdsBot-Google-Mobile afectan a la capacidad de Google Ads para comprobar la calidad de los anuncios de las páginas web.
User-agent en solicitudes HTTP 
AdsBot-Google (+http://www.google.com/adsbot.html)
robots.txt
Token de user-agent en robots.txt

AdsBot-Google

Se ignora el user-agent global (*).
Ejemplo de grupo de robots.txt 
user-agent: AdsBot-Google
allow: /archive/1Q84
disallow: /archive/
Productos afectados Las preferencias de rastreo dirigidas al user-agent AdsBot-Google afectan a la capacidad de Google Ads para comprobar la calidad de los anuncios de las páginas web.
User-agent en solicitudes HTTP
User-agent en ordenadores 
Mediapartners-Google
User-agent en dispositivos móviles 
(Various mobile device types) (compatible; Mediapartners-Google/2.1; +http://www.google.com/bot.html)
robots.txt
Token de user-agent en robots.txt Mediapartners-Google

Se ignora el user-agent global (*).
Ejemplo de grupo de robots.txt 
user-agent: Mediapartners-Google
allow: /archive/1Q84
disallow: /archive/
Productos afectados Las preferencias de rastreo dirigidas al user-agent Mediapartners-Google afectan a Google AdSense. El rastreador de AdSense visita los sitios participantes para proporcionarles anuncios relevantes.
User-agent en solicitudes HTTP 
Google-Safety
robots.txt El user-agent Google-Safety ignora las reglas de robots.txt.
Productos afectados El user-agent Google-Safety gestiona el rastreo específico de usos inadecuados, como la detección de malware en enlaces publicados de forma pública en las propiedades de Google. Por tanto, no se ve afectado por las preferencias de rastreo.

Rastreadores para casos especiales retirados

Los siguientes rastreadores para casos especiales ya no se utilizan y solo se indican aquí a modo de historial.

User-agent en solicitudes HTTP 
Mozilla/5.0 (iPhone; CPU iPhone OS 14_7_1 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/14.1.2 Mobile/15E148 Safari/604.1 (compatible; AdsBot-Google-Mobile; +http://www.google.com/mobile/adsbot.html)
robots.txt
Token de user-agent en robots.txt AdsBot-Google-Mobile

Se ignora el user-agent global (*).
Productos afectados Las preferencias de rastreo dirigidas al user-agent AdsBot-Google-Mobile afectaban a la capacidad de Google Ads para comprobar la calidad de los anuncios incluidos en las páginas web de los dispositivos iPhone.
User-agent en solicitudes HTTP 
Mozilla/5.0 (Linux; Android 11; Pixel 2; DuplexWeb-Google/1.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.193 Mobile Safari/537.36
robots.txt
Token de user-agent en robots.txt DuplexWeb-Google

Es posible que este rastreador ignore los comodines *.
Productos afectados Admitía el servicio Duplex web.
User-agent en solicitudes HTTP 
Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.75 Safari/537.36 Google Favicon
robots.txt
Token de user-agent en robots.txt Googlebot-Image
Googlebot
User-agent en solicitudes HTTP 
AdsBot-Google-Mobile-Apps
robots.txt
Token de user-agent en robots.txt AdsBot-Google-Mobile-Apps

El user-agent AdsBot-Google-Mobile-Apps obedecía las reglas de robots de AdsBot-Google, pero ignoraba el user-agent global (*).
Productos afectados Las preferencias de rastreo dirigidas al user-agent AdsBot-Google-Mobile-Apps afectan a la capacidad de Google Ads para comprobar la calidad de los anuncios de las páginas de aplicaciones Android.
User-agent en solicitudes HTTP 
Mozilla/5.0 (Linux; Android 4.2.1; en-us; Nexus 5 Build/JOP40D) AppleWebKit/535.19 (KHTML, like Gecko; googleweblight) Chrome/38.0.1025.166 Mobile Safari/535.19
robots.txt
Token de user-agent en robots.txt googleweblight

El user-agent de googleweblight solo se usaba cuando una persona solicitaba expresamente una página, por lo que ignoraba las reglas de robots.txt, que sirven para bloquear las solicitudes de rastreo automatizadas.
Productos afectados El user-agent de Web Light comprobaba si estaba presente el encabezado no-transform cuando un usuario hacía clic en tu página en la Búsqueda si se cumplían las condiciones adecuadas.