Lista de rastreadores comunes de Google

Los rastreadores comunes de Google se usan con el objetivo de encontrar información para crear los índices de búsqueda de Google, realizar otros rastreos específicos de productos y realizar análisis. Siempre obedecen las reglas de robots.txt cuando rastrean automáticamente. En general, propiedades técnicas de los rastreadores de Google también se aplican a los rastreadores comunes.

Los rastreadores comunes generalmente rastrean desde los rangos de IP publicados en la googlebot.json y la máscara de DNS inversa de su nombre de host coincide con crawl-***-***-***-***.googlebot.com o geo-crawl-***-***-***-***.geo.googlebot.com.

En la siguiente lista, se muestran los rastreadores comunes, sus cadenas de usuario-agente tal como aparecen en las solicitudes HTTP, sus tokens de usuario-agente para la línea User-agent: en robots.txt y los productos que se ven afectados por las preferencias de rastreo del rastreador. Algunos rastreadores tienen más de un token de usuario-agente. En esos casos, basta con establecer la coincidencia con un solo token de rastreo para que se aplique una regla. La lista no es exhaustiva; solo abarca los solicitantes que tienen más probabilidades de aparecer en los archivos de registro y sobre los que recibimos preguntas.

Precaución: La cadena del usuario-agente puede falsificarse. Obtén información para verificar si un visitante es un rastreador de Google.

Googlebot

User-Agent en solicitudes HTTP	Googlebot para smartphones Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html) Googlebot para computadoras de escritorio Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Chrome/W.X.Y.Z Safari/537.36 Casi nunca: Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html) Googlebot/2.1 (+http://www.google.com/bot.html)
robots.txt	Token de usuario-agente en robots.txt Googlebot Ejemplo de grupo de robots.txt user-agent: Googlebot allow: /archive/1Q84 disallow: /archive
Productos afectados	Las preferencias de rastreo dirigidas al usuario-agente Googlebot afectan a la Búsqueda de Google (incluidas Descubre y todas las funciones de la Búsqueda de Google), y otros productos como Google Imágenes, Google Video, Google Noticias y Descubre.

Googlebot-Image

Usuario-agente en solicitudes HTTP	Googlebot-Image/1.0
robots.txt	Token de usuario-agente en robots.txt Googlebot-Image Googlebot Ejemplo de grupo de robots.txt user-agent: Googlebot-Image allow: /archive/1Q84 disallow: /archive/moons.jpg
Productos afectados	Las preferencias de rastreo dirigidas al usuario-agente Googlebot-Image afectan Google Imágenes, Descubre, Google Video y todas las funciones de la Búsqueda de Google, en las que se muestran los logotipos y los íconos de página.

Googlebot-Video

Usuario-agente en solicitudes HTTP	Googlebot-Video/1.0
robots.txt	Token de usuario-agente en robots.txt Googlebot-Video Googlebot Ejemplo de grupo de robots.txt user-agent: Googlebot-Video allow: /archive/1Q84 disallow: /archive/
Productos afectados	Las preferencias de rastreo dirigidas al usuario-agente Googlebot-Video afectan funciones de la Búsqueda de Google relacionadas con los videos y otros productos que dependen de los videos.

Googlebot-News

Usuario-agente en solicitudes HTTP	Googlebot-News no tiene una cadena de usuario-agente de solicitud HTTP independiente. Se completó el rastreo con diversas cadenas de usuario-agente de Googlebot.
robots.txt	Token de usuario-agente en robots.txt Googlebot-News Googlebot Ejemplo de grupo de robots.txt user-agent: Googlebot-News allow: /archive/1Q84 disallow: /archive/
Productos afectados	Las preferencias de rastreo dirigidas al usuario-agente Googlebot-News afectan en todas las plataformas de Google Noticias (por ejemplo, la pestaña Noticias de la Búsqueda de Google y la la app de Noticias).

Google StoreBot

Usuario-agente en solicitudes HTTP	Agente para computadoras de escritorio Mozilla/5.0 (X11; Linux x86_64; Storebot-Google/1.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Safari/537.36 Agente para dispositivos móviles Mozilla/5.0 (Linux; Android 8.0; Pixel 2 Build/OPD3.170816.012; Storebot-Google/1.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36
robots.txt	Token de usuario-agente en robots.txt Storebot-Google Ejemplo de grupo de robots.txt user-agent: Storebot-Google allow: /archive/1Q84 disallow: /archive/konbini
Productos afectados	Las preferencias de rastreo dirigidas al usuario-agente Storebot-Google afectan en todas las plataformas de Google Shopping (por ejemplo, la pestaña de Shopping en la Búsqueda de Google y Google Shopping).

Google-InspectionTool

Usuario-agente en solicitudes HTTP	Agente para computadoras de escritorio Mozilla/5.0 (compatible; Google-InspectionTool/1.0;) Agente para dispositivos móviles Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; Google-InspectionTool/1.0;)
robots.txt	Token de usuario-agente en robots.txt Google-InspectionTool Googlebot Ejemplo de grupo de robots.txt user-agent: Google-InspectionTool allow: /archive/1Q84 disallow: /archive/
Productos afectados	Las preferencias de rastreo dirigidas al usuario-agente Storebot-Google afectan a las herramientas de prueba de la Búsqueda, como la prueba de resultados enriquecidos y la inspección de URL en Search Console. No tiene ningún efecto en la Búsqueda de Google ni en otros productos.

GoogleOther

Usuario-agente en solicitudes HTTP	Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; GoogleOther) Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; GoogleOther) Chrome/W.X.Y.Z Safari/537.36
robots.txt	Token de usuario-agente en robots.txt GoogleOther Ejemplo de grupo de robots.txt user-agent: GoogleOther allow: /archive/1Q84 disallow: /archive/
Productos afectados	Las preferencias de rastreo dirigidas al usuario-agente GoogleOther no afectan a ningún producto específico. GoogleOther es el rastreador genérico que pueden usar varios equipos de productos para recuperar contenido de acceso público de sitios. Por ejemplo, se puede usar para rastreos únicos en investigaciones y desarrollos internos. No tiene ningún efecto en la Búsqueda de Google ni en otros productos.

GoogleOther-Image

Usuario-agente en solicitudes HTTP	GoogleOther-Image/1.0
robots.txt	Token de usuario-agente en robots.txt GoogleOther-Image GoogleOther Ejemplo de grupo de robots.txt user-agent: GoogleOther-Image allow: /archive/1Q84 disallow: /archive/moon.jpg
Productos afectados	No se modifican las preferencias de rastreo dirigidas al usuario-agente GoogleOther-Image afectan a cualquier producto específico, similar a GoogleOther. GoogleOther-Image es la versión de GoogleOther optimizada para recuperar URLs de imágenes de acceso público.

GoogleOther-Video

Usuario-agente en solicitudes HTTP	GoogleOther-Video/1.0
robots.txt	Token de usuario-agente en robots.txt GoogleOther-Video GoogleOther Ejemplo de grupo de robots.txt user-agent: GoogleOther-Video allow: /archive/1Q84 disallow: /archive
Productos afectados	No se modifican las preferencias de rastreo dirigidas al usuario-agente GoogleOther-Video afectan a cualquier producto específico, similar a GoogleOther. GoogleOther-Video es la versión de GoogleOther optimizada para recuperar URLs de videos de acceso público.

Google-CloudVertexBot

Subcadena de usuario-agente en las solicitudes HTTP	Google-CloudVertexBot
robots.txt	Token de usuario-agente en robots.txt Google-CloudVertexBot Googlebot Ejemplo de grupo de robots.txt user-agent: Google-CloudVertexBot allow: /archive/1Q84 disallow: /archive/
Productos afectados	Las preferencias de rastreo dirigidas al usuario-agente Google-CloudVertexBot afectan los rastreos que solicitan los propietarios del sitio para compilar agentes de Vertex AI. No tiene ningún efecto en la Búsqueda de Google ni en otros productos.

Google-Extended

Usuario-agente en solicitudes HTTP	Google-Extended no tiene una cadena de usuario-agente de solicitud HTTP independiente. El rastreo se realiza con cadena de usuario-agente existentes de Google; se usa el token de usuario-agente de robots.txt con capacidad de control.
robots.txt	Token de usuario-agente en robots.txt Google-Extended Ejemplo de grupo de robots.txt user-agent: Google-Extended allow: /archive/1Q84 disallow: /archive/
Productos afectados	Google-Extended es un token de producto independiente que los publicadores web pueden usar para decidir si sus sitios ayudan a mejorar las Apps de Gemini y las APIs generativas de Vertex AI, incluidas las generaciones futuras de modelos que impulsan esos productos. Google-Extended no afecta la inclusión ni la clasificación de un sitio en la Búsqueda de Google.

Nota sobre Chrome/W.X.Y.Z en usuarios-agentes

Siempre que veas la cadena Chrome/W.X.Y.Z en las cadenas de usuario-agente de la tabla, W.X.Y.Z es un marcador de posición que representa la versión del navegador Chrome que utiliza ese usuario-agente (por ejemplo, 41.0.2272.96). Con el paso del tiempo, el número de versión aumentará para coincidir con la versión de actualización más reciente de Chromium que use Googlebot.

Si buscas en tus registros o filtras un servidor en busca de un usuario-agente con este patrón, usa comodines para el número de versión, en lugar de especificar un número exacto.