Un nuevo user-agent del robot de Google para rastrear contenido para smartphones

jueves, 23 de enero de 2014


A lo largo de los años, Google ha utilizado diferentes rastreadores para rastrear e indexar el contenido para teléfonos de gama baja y smartphones. Estos rastreadores específicos para móviles se conocen como Googlebot-Mobile. Sin embargo, los teléfonos de gama baja y los smartphones presentan diferencias considerables en lo que se refiere a capacidades de dispositivo. Además, hemos visto algunos casos en los que un webmaster ha bloqueado sin querer el rastreo o la indexación para smartphones cuando realmente solo quería bloquear el rastreo o la indexación para teléfonos de gama baja. Esta ambigüedad hace que Google no pueda indexar el contenido para smartphone de algunos sitios y que tampoco pueda reconocer si están optimizados para smartphone.

Un nuevo robot de Google para smartphones

Para poner remedio a esta situación y proporcionar un mayor control al webmaster, empezaremos a retirar "Googlebot-Mobile" para smartphones como user-agent dentro de unas 3 o 4 semanas. Tras realizar este cambio, el user-agent para smartphones se identificará simplemente como "Googlebot", pero todavía aparecerá "mobile" en algún lugar de la cadena del user-agent. Estos son los user-agents nuevos y los antiguos:

El nuevo user-agent del robot de Google para smartphones:
Mozilla/5.0 (iPhone; CPU iPhone OS 6_0 like Mac OS X) AppleWebKit/536.26 (KHTML, like Gecko) Version/6.0 Mobile/10A5376e Safari/8536.25 (compatible; Googlebot /2.1; +https://www.google.com/bot.html)

El user-agent de Googlebot-Mobile para smartphones que retiraremos en breve:
Mozilla/5.0 (iPhone; CPU iPhone OS 6_0 like Mac OS X) AppleWebKit/536.26 (KHTML, like Gecko) Version/6.0 Mobile/10A5376e Safari/8536.25 (compatible; Googlebot-Mobile /2.1; +https://www.google.com/bot.html)

Este cambio solo afecta a Googlebot-Mobile para smartphones. El user-agent del robot de Google estándar no se modificará, y los otros dos rastreadores de Googlebot-Mobile seguirán haciendo referencia a los dispositivos telefónicos de gama baja en sus cadenas de user-agent. Aparecen a continuación a modo de referencia:

User-agent del robot de Google estándar:
Mozilla/5.0 (compatible; Googlebot/2.1; +https://www.google.com/bot.html)

Los dos user-agents de Googlebot-Mobile para teléfonos de gama baja:
  • SAMSUNG-SGH-E250/1.0 Profile/MIDP-2.0 Configuration/CLDC-1.1 UP.Browser/6.2.3.3.c.1.101 (GUI) MMP/2.0 (compatible; Googlebot-Mobile/2.1; +https://www.google.com/bot.html)
  • DoCoMo/2.0 N905i(c100;TB;W24H16) (compatible; Googlebot-Mobile/2.1; +https://www.google.com/bot.html)

Puedes probar tu sitio con la función Explorar como Google de Herramientas para webmasters de Google ; también encontrarás una lista completa de nuestros rastreadores actuales en el Centro de ayuda .

El rastreo y la indexación

Ten en cuenta esta cuestión importante sobre la actualización del user-agent: el nuevo rastreador del robot de Google para smartphones seguirá el robots.txt, la metaetiqueta de robots y las directivas de encabezado HTTP del robot de Google en lugar de seguir los mismos elementos de Googlebot-Mobile. Por ejemplo, cuando se implemente el nuevo rastreador, la directiva robots.txt bloqueará todo el rastreo del nuevo user-agent del robot de Google para smartphones y también del robot de Google estándar: 

User-agent: Googlebot
Disallow: /
 La directiva robots.txt bloqueará el rastreo de los rastreadores de Google para teléfonos de gama baja: 

User-agent: Googlebot-Mobile
Disallow: /
De acuerdo con nuestros análisis internos, esta actualización afecta a menos de un 0,001% de URLs y proporciona a los webmasters un mayor control sobre el rastreo y la indexación del contenido. Como siempre, si tienes alguna pregunta puedes hacer lo siguiente:

Posted by Zhijian He, Smartphone search engineer, Publicado por Javier Pérez equipo de calidad de búsqueda de Google.