Lista de rastreadores comunes de Google

Los rastreadores comunes de Google se usan con el objetivo de encontrar información para crear los índices de búsqueda de Google, realizar otros rastreos específicos de productos y realizar análisis. Siempre obedecen las reglas de robots.txt cuando rastrean automáticamente. En general, propiedades técnicas de los rastreadores de Google también se aplican a los rastreadores comunes.

Los rastreadores comunes generalmente rastrean desde los rangos de IP publicados en la googlebot.json y la máscara de DNS inversa de su nombre de host coincide con crawl-***-***-***-***.googlebot.com o geo-crawl-***-***-***-***.geo.googlebot.com.

En la siguiente lista, se muestran los rastreadores comunes, sus cadenas de usuario-agente tal como aparecen en las solicitudes HTTP, sus tokens de usuario-agente para la línea User-agent: en robots.txt y los productos que se ven afectados por las preferencias de rastreo del rastreador. Algunos rastreadores tienen más de un token de usuario-agente. En esos casos, basta con establecer la coincidencia con un solo token de rastreo para que se aplique una regla. La lista no es exhaustiva; solo abarca los solicitantes que tienen más probabilidades de aparecer en los archivos de registro y sobre los que recibimos preguntas.

User-Agent en solicitudes HTTP
Googlebot para smartphones 
Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
Googlebot para computadoras de escritorio 
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Chrome/W.X.Y.Z Safari/537.36

Casi nunca:

  • Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
  • Googlebot/2.1 (+http://www.google.com/bot.html)
robots.txt
Token de usuario-agente en robots.txt Googlebot
Ejemplo de grupo de robots.txt 
user-agent: Googlebot
allow: /archive/1Q84
disallow: /archive
Productos afectados Las preferencias de rastreo dirigidas al usuario-agente Googlebot afectan a la Búsqueda de Google (incluidas Descubre y todas las funciones de la Búsqueda de Google), y otros productos como Google Imágenes, Google Video, Google Noticias y Descubre.
Usuario-agente en solicitudes HTTP 
Googlebot-Image/1.0
robots.txt
Token de usuario-agente en robots.txt Googlebot-Image
Googlebot
Ejemplo de grupo de robots.txt 
user-agent: Googlebot-Image
allow: /archive/1Q84
disallow: /archive/moons.jpg
Productos afectados Las preferencias de rastreo dirigidas al usuario-agente Googlebot-Image afectan Google Imágenes, Descubre, Google Video y todas las funciones de la Búsqueda de Google, en las que se muestran los logotipos y los íconos de página.
Usuario-agente en solicitudes HTTP 
Googlebot-Video/1.0
robots.txt
Token de usuario-agente en robots.txt Googlebot-Video
Googlebot
Ejemplo de grupo de robots.txt 
user-agent: Googlebot-Video
allow: /archive/1Q84
disallow: /archive/
Productos afectados Las preferencias de rastreo dirigidas al usuario-agente Googlebot-Video afectan funciones de la Búsqueda de Google relacionadas con los videos y otros productos que dependen de los videos.
Usuario-agente en solicitudes HTTP Googlebot-News no tiene una cadena de usuario-agente de solicitud HTTP independiente. Se completó el rastreo con diversas cadenas de usuario-agente de Googlebot.
robots.txt
Token de usuario-agente en robots.txt Googlebot-News
Googlebot
Ejemplo de grupo de robots.txt 
user-agent: Googlebot-News
allow: /archive/1Q84
disallow: /archive/
Productos afectados Las preferencias de rastreo dirigidas al usuario-agente Googlebot-News afectan en todas las plataformas de Google Noticias (por ejemplo, la pestaña Noticias de la Búsqueda de Google y la la app de Noticias).
Usuario-agente en solicitudes HTTP
Agente para computadoras de escritorio 
Mozilla/5.0 (X11; Linux x86_64; Storebot-Google/1.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Safari/537.36
Agente para dispositivos móviles 
Mozilla/5.0 (Linux; Android 8.0; Pixel 2 Build/OPD3.170816.012; Storebot-Google/1.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36
robots.txt
Token de usuario-agente en robots.txt Storebot-Google
Ejemplo de grupo de robots.txt 
user-agent: Storebot-Google
allow: /archive/1Q84
disallow: /archive/konbini
Productos afectados Las preferencias de rastreo dirigidas al usuario-agente Storebot-Google afectan en todas las plataformas de Google Shopping (por ejemplo, la pestaña de Shopping en la Búsqueda de Google y Google Shopping).
Usuario-agente en solicitudes HTTP
Agente para computadoras de escritorio 
Mozilla/5.0 (compatible; Google-InspectionTool/1.0;)
Agente para dispositivos móviles 
Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; Google-InspectionTool/1.0;)
robots.txt
Token de usuario-agente en robots.txt Google-InspectionTool
Googlebot
Ejemplo de grupo de robots.txt 
user-agent: Google-InspectionTool
allow: /archive/1Q84
disallow: /archive/
Productos afectados Las preferencias de rastreo dirigidas al usuario-agente Google-InspectionTool afectan a las herramientas de prueba de la Búsqueda, como la prueba de resultados enriquecidos y la inspección de URL en Search Console. No tiene ningún efecto en la Búsqueda de Google ni en otros productos.
Usuario-agente en solicitudes HTTP 
Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; GoogleOther)
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; GoogleOther) Chrome/W.X.Y.Z Safari/537.36
robots.txt
Token de usuario-agente en robots.txt GoogleOther
Ejemplo de grupo de robots.txt 
user-agent: GoogleOther
allow: /archive/1Q84
disallow: /archive/
Productos afectados Las preferencias de rastreo dirigidas al usuario-agente GoogleOther no afectan a ningún producto específico. GoogleOther es el rastreador genérico que pueden usar varios equipos de productos para recuperar contenido de acceso público de sitios. Por ejemplo, se puede usar para rastreos únicos en investigaciones y desarrollos internos. No tiene ningún efecto en la Búsqueda de Google ni en otros productos.
Usuario-agente en solicitudes HTTP 
GoogleOther-Image/1.0
robots.txt
Token de usuario-agente en robots.txt GoogleOther-Image
GoogleOther
Ejemplo de grupo de robots.txt 
user-agent: GoogleOther-Image
allow: /archive/1Q84
disallow: /archive/moon.jpg
Productos afectados No se modifican las preferencias de rastreo dirigidas al usuario-agente GoogleOther-Image afectan a cualquier producto específico, similar a GoogleOther. GoogleOther-Image es la versión de GoogleOther optimizada para recuperar URLs de imágenes de acceso público.
Usuario-agente en solicitudes HTTP 
GoogleOther-Video/1.0
robots.txt
Token de usuario-agente en robots.txt GoogleOther-Video
GoogleOther
Ejemplo de grupo de robots.txt 
user-agent: GoogleOther-Video
allow: /archive/1Q84
disallow: /archive
Productos afectados No se modifican las preferencias de rastreo dirigidas al usuario-agente GoogleOther-Video afectan a cualquier producto específico, similar a GoogleOther. GoogleOther-Video es la versión de GoogleOther optimizada para recuperar URLs de videos de acceso público.
Subcadena de usuario-agente en las solicitudes HTTP 
Google-CloudVertexBot
robots.txt
Token de usuario-agente en robots.txt Google-CloudVertexBot
Googlebot
Ejemplo de grupo de robots.txt 
user-agent: Google-CloudVertexBot
allow: /archive/1Q84
disallow: /archive/
Productos afectados Las preferencias de rastreo dirigidas al usuario-agente Google-CloudVertexBot afectan los rastreos que solicitan los propietarios del sitio para compilar agentes de Vertex AI. No tiene ningún efecto en la Búsqueda de Google ni en otros productos.
Usuario-agente en solicitudes HTTP Google-Extended no tiene una cadena de usuario-agente de solicitud HTTP independiente. El rastreo se realiza con cadena de usuario-agente existentes de Google; se usa el token de usuario-agente de robots.txt con capacidad de control.
robots.txt
Token de usuario-agente en robots.txt Google-Extended
Ejemplo de grupo de robots.txt 
user-agent: Google-Extended
allow: /archive/1Q84
disallow: /archive/
Productos afectados Google-Extended es un token de producto independiente que los publicadores web pueden usar para decidir si sus sitios ayudan a mejorar las Apps de Gemini y las APIs generativas de Vertex AI, incluidas las generaciones futuras de modelos que impulsan esos productos. La fundamentación con la Búsqueda de Google en Vertex AI no usa páginas web para la fundamentación que no permitieron la extensión de Google. Google-Extended no afecta la inclusión ni la clasificación de un sitio en la Búsqueda de Google.

Nota sobre Chrome/W.X.Y.Z en usuarios-agentes

La cadena Chrome/W.X.Y.Z en las cadenas de usuario-agente de la lista es un marcador de posición que representa la versión del navegador Chrome que usa ese usuario-agente (por ejemplo, 41.0.2272.96). Con el paso del tiempo, el número de versión aumentará para coincidir con la versión de actualización más reciente de Chromium que use Googlebot.

Si buscas en tus registros o filtras un servidor en busca de un usuario-agente con este patrón, usa comodines para el número de versión, en lugar de especificar un número exacto.