Comprobar que sea el robot de Google

Tienes la posibilidad de verificar si el rastreador web que accede a tu servidor es realmente el robot de Google (u otro user-agent de Google). Puede resultarte útil hacerlo si sospechas que puede haber spammers u otras personas malintencionadas que acceden a tu sitio haciéndose pasar por el robot de Google. Google no publica direcciones IP que los propietarios de sitios web puedan incluir en listas de direcciones permitidas. No lo hace porque los intervalos de direcciones IP pueden cambiar, lo que causaría problemas a los propietarios que hubieran permitido esas direcciones IP manualmente. Por eso, tienes que hacer una petición de DNS siguiendo los pasos que se indican a continuación.

Para comprobar que el rastreador es el robot de Google, sigue estos pasos:

  1. Busca en tus registros la dirección IP que está accediendo a tu servidor y realiza una petición de DNS invertida con ella mediante el comando host.
  2. Verifica que el nombre de dominio es googlebot.com o google.com.
  3. Ejecuta una petición de DNS normal con el nombre de dominio que hayas obtenido en el paso 1; para hacerlo, usa el comando host en el nombre de dominio. Verifica que es la misma dirección IP de acceso original que figura en tus registros.

Ejemplo 1:

> host 66.249.66.1
1.66.249.66.in-addr.arpa domain name pointer crawl-66-249-66-1.googlebot.com.

> host crawl-66-249-66-1.googlebot.com
crawl-66-249-66-1.googlebot.com has address 66.249.66.1

Ejemplo 2:

> host 66.249.90.77
77.90.249.66.in-addr.arpa domain name pointer rate-limited-proxy-66-249-90-77.google.com.

> host rate-limited-proxy-66-249-90-77.google.com
rate-limited-proxy-66-249-90-77.google.com has address 66.249.90.77