Lista de rastreadores para casos específicos de Google

Cuando existe un acuerdo entre el sitio rastreado y los productos de Google sobre el proceso de rastreo, se usan los rastreadores para casos específicos. Por ejemplo, AdsBot ignora el usuario-agente global de robots.txt (*) con el permiso del publicador del anuncio. En general, propiedades técnicas de los rastreadores de Google también se aplican a los rastreadores para casos específicos.

Los rastreadores de casos específicos pueden ignorar las reglas de robots.txt y, por lo tanto, operan desde un rango de IP diferente al de los rastreadores comunes. Los rangos de IP se publican en el objeto special-Crawlers.json. La máscara de DNS inversa de los rastreadores para casos específicos coincide con rate-limited-proxy-***-***-***-***.google.com.

En la siguiente lista, se muestran los rastreadores para casos específicos, sus cadenas de usuario-agente tal como aparecen en las solicitudes HTTP, sus tokens de usuario-agente para la línea User-agent: en robots.txt y los productos que se ven afectados por las preferencias de rastreo del rastreador. La lista no es exhaustiva; solo abarca los solicitantes que tienen más probabilidades de aparecer en los archivos de registro y sobre los que recibimos preguntas.

Precaución: La cadena del usuario-agente puede falsificarse. Obtén información para verificar si un visitante es un rastreador de Google.

APIs-Google

Usuario-agente en solicitudes HTTP	APIs-Google (+https://developers.google.com/webmasters/APIs-Google.html)
robots.txt	Token de usuario-agente en robots.txt APIs-Google Se ignora el usuario-agente global (*). Ejemplo de grupo de robots.txt user-agent: APIs-Google allow: /archive/1Q84 disallow: /archive/
Productos afectados	Las preferencias de rastreo dirigidas al usuario-agente APIs-Google afectan la entrega de mensajes de notificación push por parte de las APIs de Google.

AdsBot para Web móvil

Usuario-agente en solicitudes HTTP	Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; AdsBot-Google-Mobile; +http://www.google.com/mobile/adsbot.html)
robots.txt	Token de usuario-agente en robots.txt AdsBot-Google-Mobile Se ignora el usuario-agente global (*). Ejemplo de grupo de robots.txt user-agent: AdsBot-Google-Mobile allow: /archive/1Q84 disallow: /archive/
Productos afectados	Las preferencias de rastreo dirigidas al usuario-agente AdsBot-Google-Mobile afectan la capacidad de Google Ads para verificar la calidad de los anuncios de las páginas web.

AdsBot

Usuario-agente en solicitudes HTTP	AdsBot-Google (+http://www.google.com/adsbot.html)
robots.txt	Token de usuario-agente en robots.txt AdsBot-Google Se ignora el usuario-agente global (*). Ejemplo de grupo de robots.txt user-agent: AdsBot-Google allow: /archive/1Q84 disallow: /archive/
Productos afectados	Las preferencias de rastreo dirigidas al usuario-agente AdsBot-Google afectan la capacidad de Google Ads para verificar la calidad de los anuncios de las páginas web.

AdSense

Usuario-agente en solicitudes HTTP	Agente para computadoras de escritorio Mediapartners-Google Agente para dispositivos móviles (Various mobile device types) (compatible; Mediapartners-Google/2.1; +http://www.google.com/bot.html)
robots.txt	Token de usuario-agente en robots.txt Mediapartners-Google Se ignora el usuario-agente global (*). Ejemplo de grupo de robots.txt user-agent: Mediapartners-Google allow: /archive/1Q84 disallow: /archive/
Productos afectados	Las preferencias de rastreo dirigidas al usuario-agente Mediapartners-Google afectan a Google AdSense. El rastreador de AdSense visita los sitios participantes para proporcionarles anuncios relevantes.

Google-Safety

Usuario-agente en solicitudes HTTP	Google-Safety
robots.txt	El usuario-agente de Google-Safety ignora las reglas de robots.txt.
Productos afectados	El usuario-agente de Google-Safety controla el rastreo específico por abuso, como el descubrimiento de software malicioso para los vínculos públicos en las propiedades de Google. Por lo tanto, no se ve afectado por las preferencias de rastreo.

Rastreadores para casos específicos dados de baja

Los siguientes rastreadores para casos específicos ya no están en uso y solo se indican aquí como referencia histórica.

AdsBot para Web móvil

Usuario-agente en solicitudes HTTP	Mozilla/5.0 (iPhone; CPU iPhone OS 14_7_1 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/14.1.2 Mobile/15E148 Safari/604.1 (compatible; AdsBot-Google-Mobile; +http://www.google.com/mobile/adsbot.html)
robots.txt	Token de usuario-agente en robots.txt AdsBot-Google-Mobile Se ignora el usuario-agente global (*).
Productos afectados	Las preferencias de rastreo dirigidas al usuario-agente AdsBot-Google-Mobile afectaron la capacidad de Google Ads para verificar la calidad de los anuncios de las páginas web en dispositivos iPhone.

Duplex en la Web

Usuario-agente en solicitudes HTTP	Mozilla/5.0 (Linux; Android 11; Pixel 2; DuplexWeb-Google/1.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.193 Mobile Safari/537.36
robots.txt	Token de usuario-agente en robots.txt DuplexWeb-Google Duplex en la Web puede ignorar el comodín *.
Productos afectados	Admitía el servicio web de Duplex en la Web.

Google Favicon

Usuario-agente en solicitudes HTTP	Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.75 Safari/537.36 Google Favicon
robots.txt	Token de usuario-agente en robots.txt Googlebot-Image Googlebot

Apps móviles para Android

Usuario-agente en solicitudes HTTP	AdsBot-Google-Mobile-Apps
robots.txt	Token de usuario-agente en robots.txt AdsBot-Google-Mobile-Apps El usuario-agente AdsBot-Google-Mobile-Apps obedeció las reglas de robots AdsBot-Google, pero ignoró el usuario-agente global (*).
Productos afectados	Las preferencias de rastreo dirigidas al usuario-agente AdsBot-Google-Mobile-Apps afectan la capacidad de Google Ads para verificar la calidad de los anuncios en las páginas de apps para Android.

Web Light

Usuario-agente en solicitudes HTTP	Mozilla/5.0 (Linux; Android 4.2.1; en-us; Nexus 5 Build/JOP40D) AppleWebKit/535.19 (KHTML, like Gecko; googleweblight) Chrome/38.0.1025.166 Mobile Safari/535.19
robots.txt	Token de usuario-agente en robots.txt googleweblight El usuario-agente de googleweblight solo se usaba para las solicitudes explícitas de navegación de un visitante humano, por lo que podía ignorar las reglas de robots.txt, cuyo fin es bloquear las solicitudes de rastreo automáticas.
Productos afectados	El usuario-agente de Web Light verificaba la presencia del encabezado no-transform cada vez que un usuario hacía clic en tu página en la Búsqueda bajo las condiciones adecuadas.